Explosion mémoire : le paramètre miracle pour sécuriser vos analyses face à la très haute cardinalité !

Maîtrise de la Cardinalité avec maxNVals

Lorsque vous explorez des données inconnues, certaines colonnes (comme des identifiants uniques) peuvent saturer la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya.. Le paramètre maxNVals est votre filet de sécurité : il définit un plafond strict de valeurs distinctes à comptabiliser par variable. Dès que ce seuil est atteint, le processus s'arrête intelligemment pour cette colonne, prévenant ainsi toute surcharge de votre clusterEnsemble de nœuds (machines) interconnectés, gérés par Kubernetes, qui collaborent pour exécuter les microservices et le moteur CAS de SAS Viya, assurant haute disponibilité et passage à l'échelle. SAS Viya.

Exemples pour l'action distinct

Comptage simple des valeurs distinctes

Calculons le nombre de constructeurs (Make) et de types (Type) de véhicules distincts dans notre table.

Comptage distinct avec GroupBy et table en sortie

Soyons plus ambitieux ! Comptons le nombre de modèles distincts (Model) en regroupant par type de véhicule (Type). Nous incluons les valeurs manquantes dans le comptage et sauvegardons le tout dans une nouvelle table CAS.

Vous pourriez aussi aimer...

Conseil de l'Expert

Ne confondez pas maxNVals avec un simple filtre. C'est une limite de protection proactive. Pour une exploration initiale sur des données massives, fixez systématiquement ce paramètre à une valeur raisonnable (ex: 1000). Si une variable dépasse ce seuil, elle est marquée comme "High Cardinality" et l'analyse s'arrête pour celle-ci, préservant ainsi les ressources pour les variables catégorielles réellement utiles à votre modèle.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.