Optimisation de la Puissance Distribuée avec brTrain

Comment brTrain gère-t-il la performance sur des millions de documents ? - brTrain

Grâce à l'architecture distribuée de SAS Viya, l'action brTrain est capable de paralléliser le traitement de l'information. Le paramètre nThreads permet de définir le nombre de threadsUnités d'exécution parallèles au sein d'un processus CAS. Ils permettent de distribuer simultanément les calculs sur plusieurs cœurs CPU pour accélérer le traitement des données dans SAS Viya. par nœud de calcul, optimisant ainsi l'utilisation des ressources du plan de données CAS. De plus, en ajustant les paramètres maxCandidates (pour limiter le nombre de termes par catégorie) et maxtriesout (pour borner la recherche des meilleures combinaisons), les architectes de données peuvent équilibrer précisément le temps de calcul et la finesse du modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting). de règles.

Exemples pour l'action brTrain

Extraction de règles de base

Un exemple minimaliste pour extraire des règles binaires à partir des tables générées précédemment.

Entraînement avec réglages de précision et multiclasse

Ici, on ajuste les paramètres de score G et on demande explicitement un traitement binaire sur une cible spécifique pour être plus sélectif.

Conseil de l'Expert

Pour des volumes dépassant les 10 millions de documents, ne chargez pas vos données en une seule table globale si vous manquez de mémoire vive. Utilisez le partitionnement CAS en amont via une colonne de "shard" pour garantir que brTrain travaille sur des blocs de données alignés avec la topologie de votre cluster.

Leviers de Performance Massivement Parallèle

Exploitation du Multi-Threading : Le paramètre nThreads ne se contente pas de diviser la charge ; il crée des instances indépendantes de l'algorithme de recherche de règles sur chaque cœur, permettant une réduction quasi linéaire du temps de traitement sur les architectures multi-nœuds.
Bornage Stochastique (MaxTriesOut) : Ce paramètre agit comme un disjoncteur pour la recherche de combinaisons de règles "Complexes" (AND/OR/NOT). Il stoppe l'itération dès que le seuil de tentatives est atteint, garantissant un temps de réponse déterministe.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.