DS2 - Créer simplement une table avec DS2

Cet article en deux mots :

Découvrez comment gagner en performance lors de vos manipulations de données massives en couplant la puissance de Hive avec la flexibilité de la Proc DS2. Ce guide pratique vous fournit le code prêt à l'emploi et les configurations Hadoop indispensables pour filtrer et importer vos tables dans l'environnement SAS avec une efficacité redoutable.

Le code complet ci-dessous permet de créer une table dans la work SAS, en utilisant une Proc DS2Langage de programmation orienté objet de SAS, compatible avec le typage SQL, permettant un traitement parallèle sur plusieurs threads et une exécution directe dans les bases de données ou en CAS. pour filter une table Hive :
1
2
3
4
5
6
7
8
9
10
11
12
13
options set=SAS_HADOOP_CONFIG_PATH="/opt/sas/viya/config/data/hadoop/conf";
options set=SAS_HADOOP_JAR_PATH="/opt/sas/viya/config/data/hadoop/lib";

libname hivelib hadoop server='MON_SERVEUR_HIVE';

proc ds2;
data cars;
method run();
set {select * from hivelib.person where nom='housset'};
end;
enddata;
run;
quit;
La log complète de ce programme : proc-ds2-create-table-from-hive Note : Les options SAS_HADOOP_CONFIG_PATH et SAS_HADOOP_JAR_PATH permettent de définir la configuration HadoopFramework open-source permettant le stockage distribué (HDFS) et le traitement de données massives sur des clusters de serveurs, souvent utilisé avec SAS Viya pour l'analyse Big Data. et les jars HadoopFramework open-source permettant le stockage distribué (HDFS) et le traitement de données massives sur des clusters de serveurs, souvent utilisé avec SAS Viya pour l'analyse Big Data. nécessaires à la connexion à Hive.

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.