Si vous travaillez avec le module SAS/ACCESS interface to Hadoop et que vos tables HADOOPcontiennent des champs type STRING (qui peuvent contenir jusqu’à 2go de données), vous avez déjà été confronté au problème de...
HADOOP – Copier efficacement un fichier vers HDFS depuis SAS HADOOP – Créer une table est charger des données HADOOP – Créer une table Hive en précisant le format de fichier HADOOP – Créer...
Avant de commencer, il faut distinguer SAS Data Connector to Hadoop et SAS Data Connect Accelerator for Hadoop : SAS Data Connector to Hadoop vous permet de charger des données en série depuis Hive dans SAS Cloud Analytic Services...
Les SAS Embedded Process utilise un fichier xml de configuration stocké sur HDFS, le fichier ep-config.xml. Ce fichier ep-config.xml est créé lors de l’installation des SAS Embedded Process. Par défaut, le fichier se trouve...
Apprendre à naviguer et à exécuter des commandes dans le shell Hadoop est essentiel pour tout ingénieur de données. Que vous deviez déplacer des données dans HDFS ou modifier le fichier de configuration du...
L’option dbcreate_table_opts permet de spécifier des options propres à la base de données attaqué et de définir, par exemple des options de stockage. L’exemple ci-dessous va créer la table product dans hive en utilisant le format...
|
1 2 3 4 |
proc sql; connect to hadoop(server='MON_SERVEUR_HIVE' user='USER_HIVE' ....... ); select * from connection to hadoop(select * from person); quit; |
Pour créer une table Hive en SQL explicit, vous pouvez consulter le snippet Créer une table Hive en SAS Explicit SQL Pass-Through
|
1 2 3 4 5 |
proc sql; connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive'); execute(create table persons(nom string)) by hadoop; execute(insert into persons values ('nicolas housset')) by hadoop; quit; |
La table est bien créée : Au passage, notez la longueur du champ « nom » ( type string dans hadoop), 32767. Pour comprendre cette longueur et le pourquoi du comment, je vous invite à lire...
Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :
|
1 |
filename foo hadoop "/companyData/" concat; |
|
1 2 3 4 5 |
data _null_; infile foo truncover; input a $1024.; put a; run; |
Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...
