Auditer la volumétrie : connaître l'empreinte mémoire d'une table CAS

Cet article en deux mots :

Avant de lancer des jointures ou tris massifs sur SAS, il est crucial d'analyser la mémoire de vos tables. Cet article vous explique comment utiliser l'action CAS table.tableDetails pour inspecter l'espace RAM sur chaque Worker, évaluer le taux de compression et prévenir tout data skew.

L'objectif : Avant d'effectuer des jointures ou des tris massifs, un architecte data doit vérifier l'espace exact que prend une table en RAM sur les différents nœuds (Workers).

1
2
3
4
5
proc cas;
table.tableDetails /
name="MES_DONNEES_GLOBALES"
caslib="Public";
quit;

L'astuce en plus : Cette action est une mine d'or pour le diagnostic. Elle vous donne le nombre de lignes, l'espace mémoire exact (en octets), le taux de compression, et surtout la distribution des données par nœud (utile pour repérer un data skew si un Worker est surchargé).

Illustration

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.