Quel impact le format de mémoire (memoryFormat) a-t-il sur les tables créées par 'addTable' et comment choisir le bon ?

Le paramètre memoryFormat de l'action addTableAction CAS permettant de créer une table en mémoire à partir de données locales ou de résultats d'étapes de traitement. Elle est essentielle pour l'analyse interactive et temporaire dans Viya. est crucial car il détermine la manière dont la table sera stockée en mémoire sur le serveur CASMoteur analytique "in-memory" de SAS Viya. Il traite les données en parallèle (MPP) sur plusieurs nœuds pour offrir une puissance de calcul massive et une exécution ultra-rapide des actions., affectant directement la consommation de mémoire et potentiellement la performance. Il accepte les valeurs suivantes :

  • "STANDARD" : Utilise le format de mémoire standard. C'est l'option la plus courante.
  • "DVR" (Duplicate Value Reduction) : Ce format est optimisé pour les tables contenant de nombreuses valeurs dupliquées. Il peut réduire significativement la consommation de mémoire et la taille du fichier en mémoire, car il stocke les valeurs uniques une seule fois et des références pour les doublons. C'est un excellent choix si vos données présentent une cardinalité faible pour certaines colonnes.
  • "INHERIT" : Indique que le format de mémoire par défaut configuré pour le serveur doit être utilisé. Par défaut, le serveur CASMoteur analytique "in-memory" de SAS Viya. Il traite les données en parallèle (MPP) sur plusieurs nœuds pour offrir une puissance de calcul massive et une exécution ultra-rapide des actions. utilise le format "STANDARD". Cependant, un administrateur peut modifier ce comportement par défaut en définissant la variable d'environnement CAS_DEFAULT_MEMORY_FORMAT à DVR.

Le choix du format de mémoire doit être basé sur les caractéristiques de vos données. Si vous savez que votre table contient beaucoup de valeurs en double, "DVR" peut offrir des avantages considérables en termes d'efficacité mémoire.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Exemples pour l'action addTable

Transfert simple via CASL (Upload)

L'action addTable n'étant pas appelée directement, voici l'équivalent idiomatique en CASL via l'instruction UPLOAD qui sollicitera addTable en arrière-plan avec les options par défaut.

Chargement optimisé (simulant addTable en coulisses)

Lors de l'utilisation de l'instruction UPLOAD, on peut passer de nombreuses options qui correspondent aux paramètres de addTable, comme compress, promote, ou les options de partitionnement.