Pilotage des sorties et diagnostic des doublons

Comment gerer finement les tables de sortie generees par l'operation de comparaison et analyser les doublons ? - compare

L'architecture de l'action genere jusqu'a trois tables distinctes : casOut (table de base), casOut2 (table de comparaison), et freqOut (resume des frequences). Le pilotage strategique s'effectue via le parametre includeDuplicates. Par defaut, le comportement limite la sortie aux groupes exclusifs, mais specifier une configuration technique telle que s.simple.compare(table="base", table2="comp", includeDuplicates=["CASOUT", "CASOUT2"]) force le systeme a injecter la totalite des enregistrements correspondants, garantissant une tracabilite ligne par ligne pour l'investigation des ecarts.

Exemples pour l'action compare

Comparaison basique de deux tables

On compare les groupes basés sur la colonne 'produit' entre les deux tables.

Comparaison avancée avec tables de sortie et colonnes générées

Cet exemple génère une table de fréquences et inclut toutes les colonnes de diagnostic (_Frequency_, _GroupID_, etc.) pour voir exactement où les données divergent.

Vous pourriez aussi aimer...

Conseil de l'Expert

Pour optimiser les performances sur des tables massives (Big Data), évitez de systématiser l'usage de includeDuplicates sur les deux tables de sortie simultanément. Privilégiez l'injection des doublons uniquement sur la table casOut (Base) pour identifier les sources de pollution, tout en conservant casOut2 légère pour valider la structure de référence.

Paramétrage technique de l'action Compare

Mécanique de jointure distribuée : L'action compare opère un "Redistribute" automatique sur les clés de comparaison ; assurez-vous que vos tables sont partitionnées par les mêmes variables en amont pour minimiser le mouvement de données entre les workers.
Indicateurs d'état (status) : Les tables de sortie incluent des variables automatiques identifiant si l'enregistrement provient de la table source, de la table de comparaison, ou des deux, facilitant ainsi l'analyse post-hoc.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.