Caslib DNFS dans VIYA
SAS Viya propose le serveur SAS Cloud Analytic Services (CAS) comme moteur d'analyse in-memory pour répondre aux demandes d'analyses dont la portée et le volume ne cessent de croître.
Cependant, avant que l'analyse puisse avoir lieu, de grandes quantités de données doivent être chargées dans l'espace mémoire de CAS.
Par conséquent, le transfert d'énormes quantités de données des systèmes sources vers le CAS est un élément important à considérer lors de la mise en place de l'architecture de votre solution SAS.
Le transfert de données de façon performante est souvent associé au a chargement de données en parallèle.
Cet article présente le fonctionnement de CAS, notamment la lecture en parallèle des données, lorsque les données SAS sont stockées sur montage NFS.
NFS
Un des prérequis à la mise en place d’un chargement en parallèle directement depuis les CAS Worker est la mise en place un montage NFS (Network File System). L’objectif est que chaque CAS Worker puisse disposer d’un accès direct aux données que l’on souhaite mettre à disposition des utilisateurs de SAS Viya.
Il existe de nombreux protocoles de systèmes de fichiers réseau qui peuvent être utilisés pour le partage de fichiers. Le plus courant sous Linux est NFS.
Fichier Sashdat et caslib DNFS
caslib dnfs
Une caslib DNFS permet, par défaut et de façon transparente, un chargement des données en parallèle. Avec un système de fichiers supporté monté à l'identique sur chaque de CAS Worker, CAS peut accéder (en lecture et en écriture) aux fichiers CSV et SASHDAT du système de fichiers à partir de chaque CAS Worker.
Bien que NFS soit le protocole de partage de fichiers dominant, la partie "NFS" du DNFS ne correspond pas au protocole NFS. Actuellement, tous les systèmes de fichiers supportés par DNFS sont basés sur NFS, mais DNFS supporte d'autres protocoles de partage. Il est donc préférable de considérer la partie "NFS" de "DNFS" comme un "système de fichiers réseau" générique (système de fichiers en cluster) et non comme le protocole NFS spécifique.
