L'Action Distinct : Levier de Performance pour vos Données Massives

L'action distinct, issue du jeu d'actions Simple Analytics de SAS Viya, est l'outil d'excellence pour calculer le nombre de valeurs uniques au sein de vos variables. En environnement Cloud Analytic Services, évaluer rapidement la cardinalité de vos plans de données est une étape préliminaire indispensable pour garantir la performance de vos modèles de Machine Learning et de vos rapports décisionnels.

Découvrez pourquoi l'action distinct est le secret le mieux gardé pour profiler vos données massives ! - distinct

L'action distinct, issue du jeu d'actions Simple Analytics de SAS Viya, est l'outil d'excellence pour calculer le nombre de valeurs uniques au sein de vos variablesColonnes d'une table SAS contenant des données spécifiques (numériques ou caractères). Elles possèdent des attributs comme le nom, le type, la longueur, l'étiquette et le format d'affichage.. En environnement Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle., évaluer rapidement la cardinalitéLa cardinalité représente le nombre de valeurs distinctes contenues dans une colonne. Une cardinalité élevée indique une grande diversité de données, influençant le choix des modèles dans CAS. de vos plans de données est une étape préliminaire indispensable pour garantir la performance de vos modèles de Machine LearningBranche de l'IA utilisant des algorithmes pour apprendre des modèles à partir de données. Il permet d'automatiser des prédictions ou des décisions sans programmation explicite de chaque règle. et de vos rapports décisionnels.

Exemple de Code Additionnel

/* CASL Script : Profilage Haute Performance avec l'Action Distinct
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */

proc cas;
/* Chargement des métadonnées de la table pour ciblage */
simple.distinct result=r /
table={caslib="public", name="SAMPLES_DATA"}
inputs={"ID_CLIENT", "CODE_PRODUIT", "REGION_VENTE"}
casout={caslib="casuser", name="summary_distinct", replace=true};

/* Analyse des résultats retournés dans le dictionnaire */
print "--- Analyse de Cardinalité CAS ---";
print r.Distinct;

/* Extraction spécifique de la cardinalité pour une logique conditionnelle */
card_region = r.Distinct[3, "NDistinct"];
if (card_region > 100) then do;
print "ALERTE : Cardinalité élevée détectée pour la variable REGION_VENTE (" || (string)card_region || ")";
end;
quit;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
/* CASL Script : Profilage Haute Performance avec l'Action Distinct
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */

proc cas;
/* Chargement des métadonnées de la table pour ciblage */
simple.distinct result=r /
table={caslib="public", name="SAMPLES_DATA"}
inputs={"ID_CLIENT", "CODE_PRODUIT", "REGION_VENTE"}
casout={caslib="casuser", name="summary_distinct", replace=true};

/* Analyse des résultats retournés dans le dictionnaire */
print "--- Analyse de Cardinalité CAS ---";
print r.Distinct;

/* Extraction spécifique de la cardinalité pour une logique conditionnelle */
card_region = r.Distinct[3, "NDistinct"];
if (card_region > 100) then do;
print "ALERTE : Cardinalité élevée détectée pour la variable REGION_VENTE (" || (string)card_region || ")";
end;
quit;

Exemples pour l'action distinct

Comptage simple des valeurs distinctes

Calculons le nombre de constructeurs (Make) et de types (Type) de véhicules distincts dans notre table.

Comptage distinct avec GroupBy et table en sortie

Soyons plus ambitieux ! Comptons le nombre de modèles distincts (Model) en regroupant par type de véhicule (Type). Nous incluons les valeurs manquantes dans le comptage et sauvegardons le tout dans une nouvelle table CAS.

Vous pourriez aussi aimer...

Conseil de l'Expert

Pour optimiser vos performances sur des tables de plusieurs milliards de lignes, ne lancez jamais distinct sur l'ensemble des colonnes par défaut. Ciblez prioritairement les clés de jointure et les variables catégorielles. Si vous travaillez sur des données extrêmement denses, utilisez le paramètre casout pour persister les résultats en mémoire et éviter de recalculer la cardinalité lors de vos étapes de Data Prep ultérieures.

Architecture et Optimisation du Profilage MPP

Traitement Massivement Parallèle (MPP) : Contrairement à une procédure FREQ classique, l'action distinct distribue la charge sur tous les workers CAS, minimisant ainsi le déplacement de données (Data Shuffling).
Évaluation de la Cardinalité : Cruciale pour détecter les variables à "haute cardinalité" qui saturent les modèles de gradient boosting ou les forêts aléatoires.
Gestion des Valeurs Manquantes : L'action permet d'isoler le poids des valeurs null ou missing dans le calcul de la distribution unique sans nécessiter de filtres complexes.
Calcul de Densité : En comparant le résultat de n (lignes totales) et ndistinct, vous identifiez instantanément le ratio de parcimonie de vos attributs.
Sorties Multi-Cibles : Possibilité de générer des tables de résultats structurées pour alimenter dynamiquement des dictionnaires de données ou des métadonnées de gouvernance.