Maîtrise de l'Origine des Données sous Viya 4

Stockage Cloud ou local : comment identifier instantanément l'origine de vos données ? - caslibInfo

Grâce au paramètre srcTypeAttribut identifiant le type de source de données d'un caslib (DNFS, S3, Oracle, etc.). Il détermine les connecteurs et les options disponibles pour charger les données dans le serveur CAS., les architectes de données peuvent filtrer les résultats selon la technologie de stockage sous-jacente. Que vos données résident sur un compartiment Amazon S3, dans un système de fichiers distribué DNFSSystème de fichiers en réseau distribué utilisé par SAS Viya pour stocker des tables CAS de manière permanente. Il permet un accès parallèle et performant depuis tous les nœuds du cluster. ou via un connecteur PATHUn PATH (chemin) dans SAS Viya est une caslib pointant vers un répertoire de système de fichiers local ou réseau permettant au serveur CAS d'accéder directement aux fichiers de données., cette action permet de segmenter l'inventaire. On peut par exemple utiliser l'expression table.caslibInfo / srcType="S3"; pour isoler les ressources cloud.

Exemples pour l'action caslibInfo

Lister toutes les caslibs

L'utilisation la plus courante pour voir ce qui est disponible dans votre session.

Analyse approfondie des caslibs de type PATH

Ici, on cherche uniquement les bibliothèques basées sur des chemins de fichiers, en incluant les cachées et avec un maximum de détails.

Vous pourriez aussi aimer...

Conseil de l'Expert

Ne vous fiez jamais au nom de la caslib pour déduire sa source. Utilisez systématiquement les métadonnées srcType et sourceName via l'action caslibInfo. Pour les environnements de production, je recommande d'automatiser un audit quotidien qui compare le path physique et le srcType afin de détecter tout stockage "fantôme" (Shadow IT) qui pourrait gonfler vos factures Cloud.

Architecture Technique et Segmentation des Sources

Discrimination par srcType : Le paramètre srcType distingue nativement les sources PATH (systèmes de fichiers locaux/réseaux), DNFS (Distributed NFS de SAS), et les connecteurs Cloud comme S3, ADLS (Azure) ou GCS (Google).
Vérification de la Persistance : Le champ persistance associé au srcType permet de savoir si la caslib est liée à une session ou globale, crucial pour le nettoyage des ressources Cloud coûteuses.
Transparence Multi-Cloud : Sur Viya 4, l'action caslibInfo uniformise la lecture des métadonnées, que vous soyez sur AWS, Azure ou GCP, facilitant la portabilité du code.