Pour garantir la pertinence statistique des règles extraites, brTrain utilise des paramètres de filtrage avancés. Le gPositive et le gNegative (G-Score) mesurent la force d'association entre un terme et une catégorie cible, permettant d'éliminer le bruit textuel. Parallèlement, les paramètres mPositive et mNegative utilisent l'estimation M-estimate pour ajuster la précision des règles, évitant ainsi le surapprentissage sur des événements rares. Ces mécanismes assurent que seules les règles les plus robustes sont conservées pour la phase de production.
Comment le G-Score et le M-Estimation garantissent-ils la précision de vos règles ?
Maîtrise de la Robustesse Statistique avec brTrain
Exemples pour l'action brTrain
Extraction de règles de base
Un exemple minimaliste pour extraire des règles binaires à partir des tables générées précédemment.
Entraînement avec réglages de précision et multiclasse
Ici, on ajuste les paramètres de score G et on demande explicitement un traitement binaire sur une cible spécifique pour être plus sélectif.
Conseil de l'Expert
Ne cherchez pas à maximiser le G-Score au détriment de la M-Estimation. Un G-Score élevé sur un échantillon infime n'est que du bruit. Dans SAS Viya, fixez toujours un seuil de minSupport avant d'ajuster vos paramètres $m$ pour garantir que vos règles reposent sur une base de données significative.
Mécanismes de Validation des Règles de Catégorisation
- Discrimination par le G-Score : Le paramètre gPositive agit comme un test de vraisemblance (Likelihood Ratio Test). Il quantifie l'écart entre la distribution observée d'un terme et sa distribution aléatoire pour isoler les prédicteurs les plus discriminants.
- Stabilisation par M-Estimation : L'approche mPositive pondère la précision observée par un a priori bayésien. Cela "lisse" les probabilités pour éviter que des termes apparaissant une seule fois ne soient considérés comme des prédicteurs parfaits (précision de 100%).
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Comment transformer vos volumes de textes en règles de décision métier transparentes ?
Pourquoi l action brTrain est-elle indispensable pour l auditabilité de vos modèles ?
Comment brTrain gère-t-il la performance sur des millions de documents ?
Quels livrables concrets obtenez-vous après l exécution de cette action ?
Quels sont les composants clés pour configurer un pipeline d extraction de règles réussi ?