Optimisation In-Memory avec SAS Viya

Tout à fait. Comme pour la plupart des actions SAS Viya, vous pouvez utiliser le paramètre where pour filtrer les lignes à analyser ou computedVarsProgram pour générer des variables à la volée. Par exemple, vous pourriez utiliser un bloc pour normaliser la casse avant la comparaison, garantissant ainsi que l'évaluation de la précision ne soit pas faussée par des différences de capitalisation.

Peut-on filtrer les données ou créer des variables calculées lors du calcul du taux d'erreur ? - calculateErrorRate

Tout à fait. Comme pour la plupart des actions SAS Viya, vous pouvez utiliser le paramètre where pour filtrer les lignes à analyser ou computedVarsProgram pour générer des variablesColonnes d'une table SAS contenant des données spécifiques (numériques ou caractères). Elles possèdent des attributs comme le nom, le type, la longueur, l'étiquette et le format d'affichage. à la volée. Par exemple, vous pourriez utiliser un bloc computedVarsProgram = "new_text = lowcase(text_column);" pour normaliser la casse avant la comparaison, garantissant ainsi que l'évaluation de la précision ne soit pas faussée par des différences de capitalisation.

Exemples pour l'action calculateErrorRate

Calcul basique du taux d'erreur

Une comparaison directe entre deux tables en utilisant les paramètres par défaut (première colonne pour l'ID, seconde pour le texte).

Évaluation complète avec mapping explicite des colonnes

Dans cet exemple, nous spécifions précisément quelles colonnes utiliser. C'est la méthode recommandée pour éviter que SAS ne choisisse les mauvaises colonnes par défaut (surtout si votre table est un joyeux bazar).

Conseil de l'Expert

Pour des performances optimales sur de gros volumes, privilégiez toujours le paramètre where pour réduire le nombre de lignes chargées en mémoire active avant le calcul. Si vous utilisez computedVarsProgram, assurez-vous que vos variables sources sont indexées si vous effectuez des jointures préalables, bien que pour une simple normalisation (comme lowcase), le traitement distribué de CAS soit déjà extrêmement efficace.

Leviers techniques du filtrage et calcul "on-the-fly"

Précision du paramètre where : Ce filtre est appliqué au niveau du lecteur de table (Data Provider), ce qui signifie que les lignes exclues ne sont jamais traitées par l'algorithme de calcul d'erreur.
Syntaxe computedVarsProgram : Elle utilise la grammaire des expressions SAS (similaire au DATA Step) mais s'exécute de manière massivement parallèle sur les workers CAS.
Indépendance des variables : Les variables créées via computedVars n'augmentent pas la taille de la table physique sur disque ; elles n'existent que dans la portée de l'action en cours.