Avec mot-clef: hdfs
CAS et son cache disque
Si vous utilisez SAS Viya , vous pouvez avoir besoin de connaître les bases du fonctionnement de CAS pour utiliser pleinement le potentiel de SAS Viya. Vous trouverez de nombreux articles sur CAS sur mon blog (fonctionnement...
Debugger les SAS Embedded Process ( SAS EP ) sur Hadoop.
Les SAS Embedded Process utilise un fichier xml de configuration stocké sur HDFS, le fichier ep-config.xml. Ce fichier ep-config.xml est créé lors de l’installation des SAS Embedded Process. Par défaut, le fichier se trouve...
Les commandes Hadoop que chaque Data Engineer doit connaître
Apprendre à naviguer et à exécuter des commandes dans le shell Hadoop est essentiel pour tout ingénieur de données. Que vous deviez déplacer des données dans HDFS ou modifier le fichier de configuration du...
HADOOP – Lire tous les fichiers d’un répertoire HDFS comme s’il s’agissait d’un seul fichier
Un répertoire HDFS contient deux fichiers csv de données : Il est possible de lire ces deux fichiers comme s’il s’agissait d’un seul fichier, avec l’option concat de l’instruction filename :
|
1 |
filename foo hadoop "/companyData/" concat; |
|
1 2 3 4 5 |
data _null_; infile foo truncover; input a $1024.; put a; run; |
HADOOP – Copier efficacement un fichier vers HDFS depuis SAS
Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre...
Connaitre l’état de son stockage HDFS
Dans la famille des options pratiques, je voudrais dfsadmin –report ou comment obtenir une photo de son système HDFS. Une commande bien pratique pour connaitre rapidement la quantité de disque disponible, le nombre de...
Utiliser Sqoop pour charger des données dans HDFS
C’est pas un scoop, mais sachez tout de même que Sqoop est un projet de la fondation Apache. Je sais c’est une blague facile… Passons et intéressons-nous plutôt à cet outil permettant une cohabitation...
