HADOOP - Créer une table Hive en précisant le format de fichier

Cet article en deux mots :

Découvrez comment l'option dbcreate_table_opts transforme la gestion de vos données Hive dans SAS. Que vous souhaitiez utiliser des formats binaires comme le SequenceFile pour plus de performance ou structurer vos fichiers plats, ce guide pratique vous montre la syntaxe exacte pour optimiser votre stockage dès la création de vos tables.

L'option dbcreate_table_opts permet de spécifier des options propres à la base de données attaqué et de définir, par exemple des options de stockage. L'exemple ci-dessous va créer la table product dans hive  en utilisant le format de fichier sequenfile.
1
2
3
data sashive.product (dbcreate_table_opts='stored as sequencefile');
set sashelp.PRDSAL2;
run;
Notes : Hive peut gérer plusieurs formatsInstructions de présentation appliquées aux valeurs des variables pour modifier leur apparence (dates, monnaies, libellés) sans altérer la donnée stockée dans les tables SAS Viya. de fichiers spécifiques, tels que:
  • FICHIER TEXTE
  • SEQUENCEFILE
  • ORCFILE
Dans notre exemple nous spécifions "stored as sequencefile". Les fichiers de séquences sont des fichiers plats constitués de paires clé-valeur binaires.  

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.