Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :
|
1 |
filename foo hadoop "/companyData/" concat; |
|
1 2 3 4 5 |
data _null_; infile foo truncover; input a $1024.; put a; run; |
Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...
Le code ci-dessous permet de lire un fichier csv sur Hadoop :
|
1 2 3 4 5 |
filename mydata hadoop "/companyData/data.csv"; data work.person; infile mydata dlm="|"; input id $ name $ company $ siret $; run; |
Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...
Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...
Par défaut, les workspace servers ne sont pas configurés à l’origine pour générer des fichiers journaux. Cependant, vous devrez peut-être capturer les messages du serveur d’espace de travail dans un fichier journal à des fins...
Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS. Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de...
Si vous avez l’habitude de travailler avec SAS et Hadoop vous avez sans doute été confronté, au moins une fois, au problème des 32K, The «32k string thing» comme vous pourriez le lire sur...
Sous Linux, créer le fichier contenant vos données :
|
1 2 |
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas; |
Puis dans hive, excutez la requete ci-dessous pour créer la table :
|
1 |
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)'); |
Enfin, toujours dans HIVE, charger les données dans la table :...
Introduction Si vous pratiquez un peu hadoop, vous n’êtes pas sans ignorer l’existence de l’API native Java « hadoop fs » prenant en charge les opérations sur système de fichiers telles que la création, le renommage...
Après votre configuration Hadoop, dans mon cas Hortonworks, vous pouvez être confronter au message d’erreur « hive is not allowed to impersonate hive » lorsque vous tentez d’accéder à votre cluster : Error: Failed to open...
