Avec mot-clef: hadoop

21 Déc, 2017

HADOOP – Créer une table Hive en SAS Explicit SQL Pass-Through

proc sql;
connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive');
execute(create table persons(nom string)) by hadoop;
execute(insert into persons values ('nicolas housset')) by hadoop;
quit;

proc sql;

connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive');

execute(create table persons(nom string)) by hadoop;

execute(insert into persons values ('nicolas housset')) by hadoop;

quit;

La table est bien créée : Au passage, notez la longueur du champ « nom » ( type string dans hadoop), 32767. Pour comprendre cette longueur et le pourquoi du comment, je vous invite à lire...

Snippet

21 Déc, 2017

HADOOP – Lire tous les fichiers d’un répertoire HDFS comme s’il s’agissait d’un seul fichier

Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :

filename foo hadoop "/companyData/" concat;

1	filename foo hadoop "/companyData/" concat;

data _null_;
 infile foo truncover;
input a $1024.;
put a;
run;

data _null_;

infile foo truncover;

input a $1024.;

put a;

run;

Snippet

21 Déc, 2017

HADOOP – Copier efficacement un fichier vers HDFS depuis SAS

Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...

Snippet

21 Déc, 2017

HADOOP – Lecture d’un fichier csv avec l’instruction filename

Le code ci-dessous permet de lire un fichier csv sur Hadoop :

filename mydata hadoop "/companyData/data.csv";
data work.person;
infile mydata dlm="|";
input id $ name $ company $ siret $;
run;

filename mydata hadoop "/companyData/data.csv";

data work.person;

infile mydata dlm="|";

input id $ name $ company $ siret $;

run;

Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...

Hadoop / SAS / SAS/ACCESS to Hadoop / Support

22 Sep, 2017

Activer les logs de debug Java pour SAS/ACCESS interface to Hadoop

Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...

Workspace Server : Mode trace et débogage SAS/ACCESS Interface to Hadoop

Uncategorized

24 Mai, 2017

Workspace Server : Mode trace et débogage SAS/ACCESS Interface to Hadoop

Par défaut, les workspace servers ne sont pas configurés à l’origine pour générer des fichiers journaux. Cependant, vous devrez peut-être capturer les messages du serveur d’espace de travail dans un fichier journal à des fins...

Hadoop

18 Mai, 2017

Connaitre l’état de son stockage HDFS

Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS. Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de...

Hadoop / SAS / SAS/ACCESS to Hadoop

20 Avr, 2017

SAS/ACCESS to Hadoop et les colonnes String (32k string thing)

Si vous avez l’habitude de travailler avec SAS et Hadoop vous avez sans doute été confronté, au moins une fois, au problème des 32K, The «32k string thing» comme vous pourriez le lire sur...

Hadoop

24 Jan, 2017

HADOOP – Créer une table est charger des données

Sous Linux, créer le fichier contenant vos données :

echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" &gt; /tmp/mesdatas;
echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" &gt;&gt; /tmp/mesdatas;

1 2	echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas;

Puis dans hive, excutez la requete ci-dessous pour créer la table :

create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)');

1	create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)');

Enfin, toujours dans HIVE, charger les données dans la table :...

Hadoop

17 Jan, 2017

Découverte de Hadoop REST API – WebHDFS

Introduction Si vous pratiquez un peu hadoop, vous n’êtes pas sans ignorer l’existence de l’API native Java « hadoop fs » prenant en charge les opérations sur système de fichiers telles que la création, le renommage...

Avec mot-clef: hadoop

Pages