La gestion de la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. est primordiale sur des clusters chargés. L'action propose le paramètre memoryFormat dans les options de sortie. En définissant ce paramètre sur DVR (Duplicate Value Reduction), le moteur compresse intelligemment les colonnes ayant une faible cardinalitéLa cardinalité représente le nombre de valeurs distinctes contenues dans une colonne. Une cardinalité élevée indique une grande diversité de données, influençant le choix des modèles dans CAS., réduisant drastiquement l'espace consommé. Couplé au paramètre compress, vous minimisez la taille globale de la table. Si la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. physique reste insuffisante, le paramètre maxMemSize agit comme un garde-fou en forçant le déchargement des blocs excédentaires vers des fichiers mappés sur le cache disque (CAS_DISK_CACHEEspace de stockage local temporaire utilisé par le serveur CAS pour gérer les données dépassant la RAM disponible ou pour mapper des fichiers, garantissant ainsi la performance des traitements.).
Explosion de la RAM : Comment maîtriser l'empreinte mémoire lors d'une copie massive de données ?
Optimisation de la Mémoire CAS : Stratégies Avancées
Exemple de Code Additionnel
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
/* CASL Script : Optimisation Massive Data Copy avec DVR et Garde-fous
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */
proc cas;
table.copy /
/* Source : Table volumineuse en base externe ou format SAS7BDAT */
source={caslib="Public", name="VENTES_HISTORIQUE_EXTREME"}
/* Cible : Optimisation maximale pour la RAM */
casout={
caslib="Public",
name="VENTES_OPTIMISEES",
replace=true,
/* 1. Réduction de l'empreinte RAM via Duplicate Value Reduction */
memoryFormat="DVR",
/* 2. Compression additionnelle pour le stockage disque/transfert */
compress=true,
/* 3. Limite de sécurité : 2 Go de RAM max avant d'utiliser le cache disque */
maxMemSize=2147483648,
/* 4. Organisation pour accélérer les futurs accès */
replication=0 /* Sur gros volumes, éviter la duplication inutile */
};
quit;
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */
proc cas;
table.copy /
/* Source : Table volumineuse en base externe ou format SAS7BDAT */
source={caslib="Public", name="VENTES_HISTORIQUE_EXTREME"}
/* Cible : Optimisation maximale pour la RAM */
casout={
caslib="Public",
name="VENTES_OPTIMISEES",
replace=true,
/* 1. Réduction de l'empreinte RAM via Duplicate Value Reduction */
memoryFormat="DVR",
/* 2. Compression additionnelle pour le stockage disque/transfert */
compress=true,
/* 3. Limite de sécurité : 2 Go de RAM max avant d'utiliser le cache disque */
maxMemSize=2147483648,
/* 4. Organisation pour accélérer les futurs accès */
replication=0 /* Sur gros volumes, éviter la duplication inutile */
};
quit;
Exemples pour l'action copyTable
Copie simple d'une table
Une duplication basique de la table 'source_data' vers 'target_data' dans la même bibliothèque.
Copie avancée avec calculs, filtrage et compression
Cet exemple montre comment copier uniquement les voitures de luxe, créer une colonne calculée pour le ratio puissance/poids, et compresser le résultat pour économiser de la mémoire %https://go.documentation.sas.com/doc/en/pgmsascdc/v_069/caspg/p1xt9526uq5etwn1vmnk8koh0k6y.htm#p0iuxq2k5gy33wn1vmko6nc8ofq3%.
Promotion d'une table copiée
Copie d'une table personnelle vers une bibliothèque partagée en la rendant disponible pour tous les autres utilisateurs (promotion).
Conseil de l'Expert
En tant que Consultant Senior SAS Viya, je vais approfondir ce point critique. L'architecture MPP (Massive Parallel Processing) de CAS est d'une efficacité redoutable, mais elle ne pardonne pas l'absence de stratégie face à la volumétrie.
L'utilisation du format DVR (Duplicate Value Reduction) n'est pas qu'une simple option de stockage ; c'est un changement de paradigme dans la manière dont les blocs de données sont structurés en RAM. Contrairement au format par défaut (SASHDAT), le DVR optimise l'adressage des valeurs redondantes, ce qui est salvateur pour les tables de faits ou les dimensions à faible cardinalité.
Ne confondez pas compress=True et memoryFormat='DVR'. La compression réduit la taille sur disque et lors du transfert réseau, tandis que le DVR réduit l'empreinte active en RAM. Pour une performance optimale sur Viya 4, privilégiez le DVR sur les colonnes de type Character répétitives pour libérer du "Heap" mémoire sans sacrifier la vitesse de lecture.
L'utilisation du format DVR (Duplicate Value Reduction) n'est pas qu'une simple option de stockage ; c'est un changement de paradigme dans la manière dont les blocs de données sont structurés en RAM. Contrairement au format par défaut (SASHDAT), le DVR optimise l'adressage des valeurs redondantes, ce qui est salvateur pour les tables de faits ou les dimensions à faible cardinalité.
Ne confondez pas compress=True et memoryFormat='DVR'. La compression réduit la taille sur disque et lors du transfert réseau, tandis que le DVR réduit l'empreinte active en RAM. Pour une performance optimale sur Viya 4, privilégiez le DVR sur les colonnes de type Character répétitives pour libérer du "Heap" mémoire sans sacrifier la vitesse de lecture.
Leviers Techniques de Maîtrise de l'Empreinte RAM
- Réduction de Cardinalité via DVR : Le format memoryFormat='DVR' remplace les valeurs répétées par des pointeurs numériques, idéal pour les variables de segmentation ou géographiques.
- Segmentation par Blocs (BlockSize) : Ajuster le blockSize (par défaut 16MB) permet de mieux distribuer la charge sur les Workers et d'éviter des pics de consommation locaux lors des jointures.
- Encapsulation via maxMemSize : Ce paramètre force le moteur CAS à utiliser le "spilling" (écriture temporaire sur disque dans CAS_DISK_CACHE) dès que le seuil de RAM est atteint, protégeant ainsi le nœud contre un crash OOM (Out of Memory).
- Partitionnement Intelligent : L'utilisation de partition lors de la copie permet de charger les données de manière structurée, facilitant les futures actions de filtrage sans réallocation mémoire globale.
- Variable scoping (Drop/Keep) : Au niveau de l'action table.copy, l'élagage strict des colonnes inutiles dès l'entrée en mémoire est le moyen le plus simple et efficace de diviser par deux une empreinte RAM.
Cette réponse vous a-t-elle aidé ?
