Si vous travaillez avec le module SAS/ACCESS interface to Hadoop et que vos tables HADOOPcontiennent des champs type STRING (qui peuvent contenir jusqu’à 2go de données), vous avez déjà été confronté au problème de...
Dans cet article, nous verrons comment se connecter à Hive à l’aide du client Beeline. 1) Téléchargez les dépendances Hadoop correspondant à votre version Hadoop (dans mon cas je souhaite me connecter à un...
Apprendre à naviguer et à exécuter des commandes dans le shell Hadoop est essentiel pour tout ingénieur de données. Que vous deviez déplacer des données dans HDFS ou modifier le fichier de configuration du...
Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...
Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS. Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de...
Si vous avez l’habitude de travailler avec SAS et Hadoop vous avez sans doute été confronté, au moins une fois, au problème des 32K, The «32k string thing» comme vous pourriez le lire sur...
Sous Linux, créer le fichier contenant vos données :
|
1 2 |
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas; |
Puis dans hive, excutez la requete ci-dessous pour créer la table :
|
1 |
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)'); |
Enfin, toujours dans HIVE, charger les données dans la table :...
Introduction Si vous pratiquez un peu hadoop, vous n’êtes pas sans ignorer l’existence de l’API native Java « hadoop fs » prenant en charge les opérations sur système de fichiers telles que la création, le renommage...
Après votre configuration Hadoop, dans mon cas Hortonworks, vous pouvez être confronter au message d’erreur « hive is not allowed to impersonate hive » lorsque vous tentez d’accéder à votre cluster : Error: Failed to open...
SAS base et Hadoop SAS Base permet l’accès à HDFS et à l’écosysyème Hadoop grace à l’instruction Hadoop FILENAME, la proc Hadoop et la Proc Sqoop. L’instruction Hadoop FILENAME permet d’accéder aux fichiers d’un...
