Avec mot-clef: hadoop
Créer une caslib avec sas-admin
Dans cet article, je vous montre comment créer simplement une caslib en ligne de commande avec l’utilitaire sas-admin cli de VIYA. L’interface de ligne de commande (CLI) d’administration (que j’appelle par son petit nom...
SAS/ACCESS to Hadoop et les champs STRING : WARNING ou ERROR ?
Si vous travaillez avec le module SAS/ACCESS interface to Hadoop et que vos tables HADOOPcontiennent des champs type STRING (qui peuvent contenir jusqu’à 2go de données), vous avez déjà été confronté au problème de...
Installer un client Beeline pour se connecter à Hive Metastore
Dans cet article, nous verrons comment se connecter à Hive à l’aide du client Beeline. 1) Téléchargez les dépendances Hadoop correspondant à votre version Hadoop (dans mon cas je souhaite me connecter à un...
Viya – SAS Data Connector to Hadoop et SAS Data Connect Accelerator for Hadoop
Avant de commencer, il faut distinguer SAS Data Connector to Hadoop et SAS Data Connect Accelerator for Hadoop : SAS Data Connector to Hadoop vous permet de charger des données en série depuis Hive dans SAS Cloud Analytic Services...
Debugger les SAS Embedded Process ( SAS EP ) sur Hadoop.
Les SAS Embedded Process utilise un fichier xml de configuration stocké sur HDFS, le fichier ep-config.xml. Ce fichier ep-config.xml est créé lors de l’installation des SAS Embedded Process. Par défaut, le fichier se trouve...
Les commandes Hadoop que chaque Data Engineer doit connaître
Apprendre à naviguer et à exécuter des commandes dans le shell Hadoop est essentiel pour tout ingénieur de données. Que vous deviez déplacer des données dans HDFS ou modifier le fichier de configuration du...
HADOOP – Créer une table Hive en précisant le format de fichier
L’option dbcreate_table_opts permet de spécifier des options propres à la base de données attaqué et de définir, par exemple des options de stockage. L’exemple ci-dessous va créer la table product dans hive en utilisant le format...
HADOOP – Lire une table Hive en SQL explicit
|
1 2 3 4 |
proc sql; connect to hadoop(server='MON_SERVEUR_HIVE' user='USER_HIVE' ....... ); select * from connection to hadoop(select * from person); quit; |
Pour créer une table Hive en SQL explicit, vous pouvez consulter le snippet Créer une table Hive en SAS Explicit SQL Pass-Through
HADOOP – Créer une table Hive en SAS Explicit SQL Pass-Through
|
1 2 3 4 5 |
proc sql; connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive'); execute(create table persons(nom string)) by hadoop; execute(insert into persons values ('nicolas housset')) by hadoop; quit; |
La table est bien créée : Au passage, notez la longueur du champ « nom » ( type string dans hadoop), 32767. Pour comprendre cette longueur et le pourquoi du comment, je vous invite à lire...
