21 Déc, 2017

HADOOP – Créer une table Hive en SAS Explicit SQL Pass-Through

proc sql;
connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive');
execute(create table persons(nom string)) by hadoop;
execute(insert into persons values ('nicolas housset')) by hadoop;
quit;

proc sql;

connect to hadoop(server='MON_SERVEUR' user='nicolas' password='monpasswordhive');

execute(create table persons(nom string)) by hadoop;

execute(insert into persons values ('nicolas housset')) by hadoop;

quit;

La table est bien créée : Au passage, notez la longueur du champ « nom » ( type string dans hadoop), 32767. Pour comprendre cette longueur et le pourquoi du comment, je vous invite à lire...

Snippet

21 Déc, 2017

HADOOP – Lire tous les fichiers d’un répertoire HDFS comme s’il s’agissait d’un seul fichier

Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :

filename foo hadoop "/companyData/" concat;

1	filename foo hadoop "/companyData/" concat;

data _null_;
 infile foo truncover;
input a $1024.;
put a;
run;

data _null_;

infile foo truncover;

input a $1024.;

put a;

run;

Snippet

21 Déc, 2017

HADOOP – Copier efficacement un fichier vers HDFS depuis SAS

Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...

Snippet

21 Déc, 2017

HADOOP – Lecture d’un fichier csv avec l’instruction filename

Le code ci-dessous permet de lire un fichier csv sur Hadoop :

filename mydata hadoop "/companyData/data.csv";
data work.person;
infile mydata dlm="|";
input id $ name $ company $ siret $;
run;

filename mydata hadoop "/companyData/data.csv";

data work.person;

infile mydata dlm="|";

input id $ name $ company $ siret $;

run;

Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...

Geek / Support / Système

23 Oct, 2017

Différence entre ANSI et UTF-8

Comme vous le savez probablement, ANSI et UTF-8 sont deux schémas de codage largement utilisés. La principale distinction entre eux réside dans leur utilisation. Au fil du temps, UTF-8 a essentiellement remplacé ANSI en...

Hadoop / SAS / SAS/ACCESS to Hadoop / Support

22 Sep, 2017

Activer les logs de debug Java pour SAS/ACCESS interface to Hadoop

Contrairement aux autres module SAS/ACCESS, pour utiliser SAS/ACCESS avec un serveur Hadoop, un ensemble de fichiers JAR et de configuration Hadoop doit être disponible sur la machine client SAS. Cette particularité, c’est-à-dire l’absence d’un...

Linux / oracle / Support

14 Sep, 2017

Tester sa connexion Oracle via jdbc

Dans le cadre de votre activité, vous pouvez être amené à tester la connexion à votre base Oracle. Voici donc un exemple pour vous montrer comment vous connecter à la base de données Oracle...

SAS/ACCESS to PostgreSQL

22 Août, 2017

SAS/ACCESS interface to PostgreSQL et les performances

Si vous utilisez SAS/ACCESS interface to PostgreSQL, vous pouvez être confronté à des problèmes de lenteurs lors de l’exécution de certains requêtes. Dans cet article, je vous présente deux options PostgreSQL utiles pour améliorer...

[TIPS/VERTICA] Monitoring des ressources système

base de données / HPE vertica

16 Août, 2017

[TIPS/VERTICA] Monitoring des ressources système

L’utilisation des ressources système dans le schéma v_monitor de Vertica fournit un résumé de haut niveau de l’utilisation de la mémoire, du processeur, des E / S et du réseau. Cet article passera en...

Middle-Tier Administration / Middle-tiers / SAS / Troubleshooting

15 Août, 2017

Modifier le niveau des traces de vos applications web SAS

Si vous êtes confronté à des problèmes techniques dans l’utilisation de vos applications Web SAS, il peut s’avérer utile de changer le niveau de traces de ces applications pour déboguer. Pour rappel, les logs...

Pages