HADOOP – Lire tous les fichiers d’un répertoire HDFS comme s’il s’agissait d’un seul fichier

de Nicolas Housset · 21/12/2017

Un répertoire HDFS contient deux fichiers csv de données :

Il est possible de lire ces deux fichiers comme s'il s'agissait d'un seul fichier, avec l'option concat de l'instruction filename :

filename foo hadoop "/companyData/" concat;

1	filename foo hadoop "/companyData/" concat;

data _null_;
 infile foo truncover;
input a $1024.;
put a;
run;

data _null_;

infile foo truncover;

input a $1024.;

put a;

run;