Explorer le contenu physique : lister les fichiers d'une Caslib

Cet article en deux mots :

Avant de charger vos données dans SAS, vérifiez leur présence physique ! Ce guide vous explique comment utiliser proc cas et l'action table.fileInfo pour inspecter le répertoire de votre Caslib. Apprenez à filtrer vos fichiers et à valider instantanément les mises à jour de vos pipelines.

L'objectif : Vous savez que votre CaslibEspace de stockage logique dans SAS Viya. Elle définit l’accès aux données (source physique) et leur chargement en mémoire (serveur CAS) pour permettre des analyses distribuées haute performance. pointe vers un répertoire, mais vous avez besoin de voir quels fichiers (CSV, SASHDATSASHDAT est le format de fichier propriétaire de SAS Viya optimisé pour Cloud Analytic Services (CAS). Il permet un chargement ultra-rapide des données en mémoire via un accès direct (memory-mapping)., ParquetParquet est un format de stockage de fichiers open source, orienté colonnes, optimisé dans SAS Viya pour une compression efficace et des performances de lecture rapides sur de grands volumes de données.) y sont physiquement présents avant de les charger.

1
2
3
4
5
proc cas;
table.fileInfo /
caslib="Public"
path="%.csv"; /* Utilisation du joker % pour filtrer */
quit;

L'astuce en plus : L'argument pathUn PATH (chemin) dans SAS Viya est une caslib pointant vers un répertoire de système de fichiers local ou réseau permettant au serveur CAS d'accéder directement aux fichiers de données. accepte les wildcards. Le symbole % agit comme l'étoile * classique. Le résultat vous donnera également la taille des fichiers et leur date de dernière modification, idéal pour vérifier si un fichier source a bien été mis à jour par votre pipelineChaîne de flux de données automatisée intégrant prétraitement, sélection de variables et modèles supervisés pour comparer leurs performances et déployer le meilleur candidat dans SAS Viya..

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.