HADOOP – Lecture d’un fichier csv avec l’instruction filename

de Nicolas Housset · 21/12/2017

Le code ci-dessous permet de lire un fichier csv sur Hadoop :

filename mydata hadoop "/companyData/data.csv";
data work.person;
infile mydata dlm="|";
input id $ name $ company $ siret $;
run;

filename mydata hadoop "/companyData/data.csv";

data work.person;

infile mydata dlm="|";

input id $ name $ company $ siret $;

run;

Ce qui donne :

En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à la session et traitées séquentiellement par la DATA STEP.