L'action buildTermIndex est un composant stratégique de l'ensemble d'actions Search Analytics au sein de SAS Viya. Son rôle principal est de transformer des données textuelles massives et non structurées en une structure d'indexation hautement performante. En créant une table de termes significatifs, elle fournit au moteur de recherche les fondations nécessaires pour alimenter des fonctionnalités critiques telles que l'autocomplétion prédictive et les suggestions de recherche. D'un point de vue technique, elle permet aux Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle. (CAS) de traiter les requêtes linguistiques avec une latence minimale en évitant le scan exhaustif des documents originaux lors de chaque recherche.
Pourquoi l'action buildTermIndex est-elle indispensable pour booster la pertinence de vos moteurs de recherche ?
L'ingénierie sémantique au service de la performance
Exemples pour l'action buildTermIndex
Extraction de base des termes
Ce code crée une table simple contenant tous les termes trouvés dans la table d'entrée.
Extraction avancée avec segmentation en Français
Ici, on spécifie que le texte est en français, on active la segmentation et on cible une colonne précise.
Conseil de l'Expert
Pour optimiser les performances de l'autocomplétion, ne lancez pas buildTermIndex sur la totalité de votre table brute. Utilisez l'action tpParse en amont pour filtrer les "stop words" et ne conserver que les entités nommées ou les noms communs. Cela réduit la taille de l'index de 40% tout en augmentant la précision des suggestions.
Architecture technique et bénéfices structurels
- Extraction de N-grammes : L'action génère des séquences de mots (bi-grammes, tri-grammes) permettant de suggérer des expressions complexes plutôt que des mots isolés.
- Calcul des poids TF-IDF : Elle évalue l'importance relative de chaque terme, permettant de classer les suggestions par pertinence statistique plutôt que par ordre alphabétique.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Pouvez-vous limiter l'indexation à des colonnes spécifiques pour optimiser les performances ?
Comment le paramètre de tokenisation transforme-t-il la précision de vos analyses textuelles ?
Quelles capacités multilingues offre cette action pour les organisations internationales ?
Quel est l'usage métier de la table de sortie générée par le paramètre casOut ?