Avec mot-clef: bigdata
Premiers pas avec SAS/ACCESS interface to Big Query
Dans cet article je vous propose de faire connaissance avec le module SAS/ACCESS Interface to Google Big Query. J’en profite pour remercier Younes Sammour pour son assistance technique. Créer un compte de service Google Pour...
HADOOP – Lire tous les fichiers d’un répertoire HDFS comme s’il s’agissait d’un seul fichier
Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :
|
1 |
filename foo hadoop "/companyData/" concat; |
|
1 2 3 4 5 |
data _null_; infile foo truncover; input a $1024.; put a; run; |
HADOOP – Lecture d’un fichier csv avec l’instruction filename
Le code ci-dessous permet de lire un fichier csv sur Hadoop :
|
1 2 3 4 5 |
filename mydata hadoop "/companyData/data.csv"; data work.person; infile mydata dlm="|"; input id $ name $ company $ siret $; run; |
Ce qui donne : En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à...
HADOOP – Créer une table est charger des données
Sous Linux, créer le fichier contenant vos données :
|
1 2 |
echo "nicolas,1977-03-12 06:30:23,1977-03-12 06:30:23" > /tmp/mesdatas; echo "Sylvain,1989-05-23 07:23:12,1989-05-23 07:23:12" >> /tmp/mesdatas; |
Puis dans hive, excutez la requete ci-dessous pour créer la table :
|
1 |
create table mesdatas(id string ,t timestamp, t2 timestamp) row format delimited fields terminated by ',' TBLPROPERTIES ('SASFMT:t'='DATETIME(9.0)','SASFMT:t2'='DATETIME(20)'); |
Enfin, toujours dans HIVE, charger les données dans la table :...
OVH summit 2016
Quelques photos prise durant l’événement IT du leader européen du Cloud. Les personnalités phares d’OVH sont sur scène pour partager les tendances numériques et technologiques les plus récentes. Cette keynote est l’occasion d’explorer les...
