Le code ci-dessous permet de lire un fichier csv sur Hadoop :
|
1 2 3 4 5 |
filename mydata hadoop "/companyData/data.csv"; data work.person; infile mydata dlm="|"; input id $ name $ company $ siret $; run; |
Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...
Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...
Par défaut, les workspace servers ne sont pas configurés à l’origine pour générer des fichiers journaux. Cependant, vous devrez peut-être capturer les messages du serveur d’espace de travail dans un fichier journal à des fins...
Si vous avez l’habitude de travailler avec SAS et Hadoop vous avez sans doute été confronté, au moins une fois, au problème des 32K, The «32k string thing» comme vous pourriez le lire sur...
Sous Linux, créer le fichier contenant vos données :
|
1 2 |
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas; |
Puis dans hive, excutez la requete ci-dessous pour créer la table :
|
1 |
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)'); |
Enfin, toujours dans HIVE, charger les données dans la table :...
Introduction Si vous pratiquez un peu hadoop, vous n’êtes pas sans ignorer l’existence de l’API native Java « hadoop fs » prenant en charge les opérations sur système de fichiers telles que la création, le renommage...
Le but de cette page est de référencer les documentations autour de SAS et des technologies Hadoop. Je l’utilise principalement comme pense bête, mais il m’a semblé intéressant de partager ces liens avec vous. D’abord...
SAS base et Hadoop SAS Base permet l’accès à HDFS et à l’écosysyème Hadoop grace à l’instruction Hadoop FILENAME, la proc Hadoop et la Proc Sqoop. L’instruction Hadoop FILENAME permet d’accéder aux fichiers d’un...
SAS deployment manager permet d’automatiser la configuration du module SAS/ACCESS interface to Hadoop.
Lors de l’utilisation de SAS/ACCESS to Hadoop, vous pouvez être confronté à des problèmes de performances lors de l’extraction de données. Aussi, vous pouvez constater que la même requête exécuté en SQL Explicit Pass-Through...
