|
1 2 3 4 |
proc sql; connect to hadoop(server='MON_SERVEUR_HIVE' user='USER_HIVE' ....... ); select * from connection to hadoop(select * from person); quit; |
Pour créer une table Hive en SQL explicit, vous pouvez consulter le snippet Créer une table Hive en SAS Explicit SQL Pass-Through
|
1 2 3 4 5 |
proc sql; connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive'); execute(create table persons(nom string)) by hadoop; execute(insert into persons values ('nicolas housset')) by hadoop; quit; |
La table est bien créée : Au passage, notez la longueur du champ « nom » ( type string dans hadoop), 32767. Pour comprendre cette longueur et le pourquoi du comment, je vous invite à lire...
Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :
|
1 |
filename foo hadoop "/companyData/" concat; |
|
1 2 3 4 5 |
data _null_; infile foo truncover; input a $1024.; put a; run; |
Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...
Le code ci-dessous permet de lire un fichier csv sur Hadoop :
|
1 2 3 4 5 |
filename mydata hadoop "/companyData/data.csv"; data work.person; infile mydata dlm="|"; input id $ name $ company $ siret $; run; |
Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...
Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...
Par défaut, les workspace servers ne sont pas configurés à l’origine pour générer des fichiers journaux. Cependant, vous devrez peut-être capturer les messages du serveur d’espace de travail dans un fichier journal à des fins...
Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS. Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de...
Si vous avez l’habitude de travailler avec SAS et Hadoop vous avez sans doute été confronté, au moins une fois, au problème des 32K, The «32k string thing» comme vous pourriez le lire sur...
Sous Linux, créer le fichier contenant vos données :
|
1 2 |
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas; |
Puis dans hive, excutez la requete ci-dessous pour créer la table :
|
1 |
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)'); |
Enfin, toujours dans HIVE, charger les données dans la table :...
