Valeurs manquantes : comment éviter qu'elles ne faussent le calcul de vos valeurs uniques ?

Maîtrise du Distinct Count sur CAS

Le comportement standard de l'action est de prendre en compte les valeurs manquantes dans le décompte global. Pour modifier ce comportement et obtenir un comptage strictement basé sur les données métier renseignées, il vous suffit de configurer le paramètre includeMissing sur FALSE. Cela vous assure une vision claire et non biaisée de la richesse de vos données réelles.

Exemples pour l'action distinct

Comptage simple des valeurs distinctes

Calculons le nombre de constructeurs (Make) et de types (Type) de véhicules distincts dans notre table.

Comptage distinct avec GroupBy et table en sortie

Soyons plus ambitieux ! Comptons le nombre de modèles distincts (Model) en regroupant par type de véhicule (Type). Nous incluons les valeurs manquantes dans le comptage et sauvegardons le tout dans une nouvelle table CAS.

Vous pourriez aussi aimer...

Conseil de l'Expert

Pour une performance optimale sur des tables de plusieurs milliards de lignes, préférez l'action cardinality.summarize. Si vous utilisez simple.distinct, l'option includeMissing = false est indispensable pour éviter que le "NULL" ne soit considéré comme une modalité métier, ce qui fausserait vos ratios de complétude.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.