HADOOP - Lecture d'un fichier csv avec l'instruction filename

Le code ci-dessous permet de lire un fichier csv sur HadoopFramework open-source permettant le stockage distribué (HDFS) et le traitement de données massives sur des clusters de serveurs, souvent utilisé avec SAS Viya pour l'analyse Big Data. :
1
2
3
4
5
filename mydata hadoop "/companyData/data.csv";
data work.person;
infile mydata dlm="|";
input id $ name $ company $ siret $;
run;
Ce qui donne : filename_hadoop En exécutant ce code SAS, les données sont lues en parallèle à partir de HDFS, transmises à la sessionInstance de connexion active entre un client et le serveur CAS (Cloud Analytic Services), isolant les ressources, les bibliothèques et les traitements d'un utilisateur au sein de SAS Viya. et traitées séquentiellement par la DATA STEPBloc de programmation SAS itératif utilisé pour lire, transformer et manipuler des données ligne par ligne afin de créer des tables de sortie personnalisées et calculer de nouvelles variables..

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.