L'Action calculateErrorRate : Le Juge de Paix du Speech-to-Text

Pourquoi mesurer la précision de vos systèmes de reconnaissance vocale avec l'action calculateErrorRate ? - calculateErrorRate

L'action calculateErrorRate, intégrée à l'ensemble d'actions langModel de SAS Viya, est un outil indispensable pour les architectes de solutions souhaitant valider la performance de leurs systèmes de Speech-to-Text. Elle permet de comparer de manière automatisée et à grande échelle les transcriptions générées par un modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting). (hypothèses) avec des transcriptions manuelles certifiées (références). Cette évaluation est le socle de toute démarche d'amélioration continue des modèles de langage en entreprise.

Exemples pour l'action calculateErrorRate

Calcul basique du taux d'erreur

Une comparaison directe entre deux tables en utilisant les paramètres par défaut (première colonne pour l'ID, seconde pour le texte).

Évaluation complète avec mapping explicite des colonnes

Dans cet exemple, nous spécifions précisément quelles colonnes utiliser. C'est la méthode recommandée pour éviter que SAS ne choisisse les mauvaises colonnes par défaut (surtout si votre table est un joyeux bazar).

Conseil de l'Expert

Avant de lancer l'action, effectuez systématiquement un prétraitement textuel (normalisation) sur vos tables de référence et d'hypothèse. Supprimez la ponctuation, uniformisez la casse et convertissez les nombres en lettres. Sans cela, le calcul du WER (Word Error Rate) sera artificiellement gonflé par des différences de formatage plutôt que par des erreurs de reconnaissance réelles.

Les piliers techniques de l'évaluation avec langModel

Algorithme de Levenshtein Distribué : L'action utilise la distance d'édition pour quantifier les substitutions, insertions et délétions, le tout parallélisé sur les nœuds du Cloud Analytic Services (CAS).
Granularité des Métriques : Au-delà du score global, elle fournit le détail par ligne, permettant d'identifier si les erreurs sont concentrées sur des fichiers audio spécifiques (bruit de fond, accent particulier).
Scalabilité Massive : Contrairement aux scripts Python locaux, calculateErrorRate traite des millions de tokens en mémoire distribuée sans goulot d'étranglement I/O.