Parallélisation massive via CAS et brScore

Comment doper les performances de traitement sur des milliards de lignes de texte ? - brScore

La puissance de l'architecture SAS Viya réside dans son exécution distribuée. L'action brScore expose le paramètre nThreads, qui définit le nombre de threadsUnités d'exécution parallèles au sein d'un processus CAS. Ils permettent de distribuer simultanément les calculs sur plusieurs cœurs CPU pour accélérer le traitement des données dans SAS Viya. de calcul à mobiliser sur chaque nœud du clusterEnsemble de nœuds (machines) interconnectés, gérés par Kubernetes, qui collaborent pour exécuter les microservices et le moteur CAS de SAS Viya, assurant haute disponibilité et passage à l'échelle. CAS. En configurant correctement ce paramètre, vous pouvez paralléliser le processus de matching des règles, réduisant ainsi drastiquement le temps de traitement (le temps de cycle) pour les analyses de masse, tout en optimisant l'utilisation des ressources processeur de votre plan de données.

Exemple de Code Additionnel

/* CASL Script : Optimisation brScore sur Volumes Massifs
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */

proc cas;
/* 1. Chargement et vérification de la session */
session casauto;

/* 2. Appel de l'action brScore avec parallélisation maximale */
businessRules.brScore /
/* Table source distribuée sur le cluster */
table={caslib="public", name="BILLIONS_TEXT_DATA"},

  /* Paramétrage de la puissance de calcul */
  nThreads=16,  /* Définit 16 threads de calcul par nœud Worker */
  
  /* Spécification des règles métier (Rule Set) */
  ruleSet={caslib="public", name="TEXT_MATCHING_RULES"},
  
  /* Table de destination */
  casOut={caslib="public", name="SCORED_RESULTS", replace=true},
  
  /* Options de monitoring de performance */
  copyVars={"id_transaction", "text_content"};
run;
quit;1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
/* CASL Script : Optimisation brScore sur Volumes Massifs
(c) Nicolas Housset 2026 - Code SAS pour VIYA 4 - testé et validé en version 2024.09 */

proc cas;
/* 1. Chargement et vérification de la session */
session casauto;

/* 2. Appel de l'action brScore avec parallélisation maximale */
businessRules.brScore /
/* Table source distribuée sur le cluster */
table={caslib="public", name="BILLIONS_TEXT_DATA"},

  /* Paramétrage de la puissance de calcul */
  nThreads=16,  /* Définit 16 threads de calcul par nœud Worker */
  
  /* Spécification des règles métier (Rule Set) */
  ruleSet={caslib="public", name="TEXT_MATCHING_RULES"},
  
  /* Table de destination */
  casOut={caslib="public", name="SCORED_RESULTS", replace=true},
  
  /* Options de monitoring de performance */
  copyVars={"id_transaction", "text_content"};
run;
quit;

Exemples pour l'action brScore

Exemple

Application des règles de base sur une table de documents.

Exemple

Utilisation de colonnes d'identifiants spécifiques et limitation des ressources de calcul.

Conseil de l'Expert

Pour maximiser le débit, assurez-vous que votre table d'entrée est partitionnée (ou distribuée de manière homogène) sur tous les nœuds avant l'appel de l'action. Si vos données sont concentrées sur un seul nœud, nThreads ne pourra exploiter que la puissance locale, créant un goulot d'étranglement majeur.

Leviers techniques d'optimisation de la performance

Gestion du multithreading (nThreads) : Ce paramètre multiplie les instances du moteur de règles par nœud. Sur des processeurs modernes, un ratio de 1 thread par cœur physique est optimal pour éviter l'overheading lié au context-switching.
Mémoire In-Memory (CAS) : Le chargement préalable en format .sashdat permet un accès direct aux blocs de données par tous les threads simultanément, garantissant une latence d'E/S proche de zéro.
Optimisation du moteur d'expressions : Les règles compilées dans l'action brScore utilisent le moteur d'exécution "GPL" (General Purpose Logic), optimisé pour les instructions machine de bas niveau sur des milliards d'itérations.