crossTab

Comment dompter les milliards de lignes de vos tables avec l'option groupByLimit ?

Maîtriser la Cardinalité sous CAS

La gestion de la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. distribuée est critique dans l'écosystème SAS Viya. Le paramètre groupByLimit vous sauve la mise en plafonnant le nombre maximum de niveaux (cardinalitéLa cardinalité représente le nombre de valeurs distinctes contenues dans une colonne. Une cardinalité élevée indique une grande diversité de données, influençant le choix des modèles dans CAS.) dans une opération de regroupement. Si le serveur détecte que le nombre de croisements dépasse cette limite, il interrompt l'exécution au lieu de saturer les nœuds de calcul. C'est un mécanisme de défense indispensable pour prévenir les goulets d'étranglement lors de tabulations exploratoires sur des données brutes non préparées.

Exemples pour l'action crossTab

Tabulation simple à une entrée

Comptage simple des occurrences pour chaque type de produit.

Tableau croisé à deux entrées

Croisement entre la région et le type de produit.

Analyse statistique complète avec pondération

Cet exemple croise la région et le produit, applique un poids, calcule les statistiques de Chi-deux et les mesures d'association.

Tabulation avec discrétisation (Binning)

Idéal quand vous voulez croiser une variable catégorielle avec une variable numérique continue découpée en intervalles.

Conseil de l'Expert
Ne confondez pas groupByLimit avec un filtrage de données. C'est une sécurité préventive. Pour optimiser vos performances sur des milliards de lignes, combinez toujours cette option avec l'indexation en mémoire (Index CAS) sur les colonnes de regroupement fréquentes afin de réduire le coût du shuffling (transfert de données entre nœuds).
Anatomie technique du contrôle de regroupement
  • Protection de la RAM distribuée : Empêche la création d'une table de hashage dépassant les capacités physiques des nœuds de calcul.
  • Seuil de sécurité par défaut : Par défaut, SAS Viya fixe souvent cette limite à 100 000 niveaux, mais elle doit être ajustée selon la RAM disponible par thread.
  • Gestion du Shuffling : En limitant les groupes, on limite mécaniquement le volume de données transitant sur le réseau interne (inter-node communication).

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

simple

crossTab
À lire aussi...
Illustration FAQ Astuce d'architecte : comment integrer des variables continues sans faire exploser la RAM du serveur ? Illustration FAQ Pourquoi l'action crossTab de SAS Viya va radicalement transformer votre exploration de donnees ? Illustration FAQ Maitrisez l'agregation avancee : au dela du simple comptage avec l'action crossTab ! Illustration FAQ Le secret statistique : comment prouver la dependance de vos variables categoriques ?