buildTermIndex

Pouvez-vous limiter l'indexation à des colonnes spécifiques pour optimiser les performances ?

Optimisation de l'indexation par sélection granulaire

Oui, et c'est une pratique recommandée pour la gestion des ressources au sein de l'environnement SAS Viya. Le paramètre fields permet de spécifier précisément une liste de colonnes (champs) sur lesquelles l'analyse de fréquence des termes doit être effectuée. Au lieu de mobiliser de la puissance de calcul sur des colonnes non pertinentes comme des identifiants techniques ou des dates, vous pouvez concentrer l'action sur les champs riches en contenu comme les titres, les descriptions ou les corps de texte. Cette approche sélective réduit la charge de travail sur les nœuds du serveur CAS et produit une table de sortie casOut beaucoup plus propre et exploitable pour le métier.

Exemples pour l'action buildTermIndex

Extraction de base des termes

Ce code crée une table simple contenant tous les termes trouvés dans la table d'entrée.

Extraction avancée avec segmentation en Français

Ici, on spécifie que le texte est en français, on active la segmentation et on cible une colonne précise.

Conseil de l'Expert
Pour les tables à forte volumétrie, n'utilisez jamais le paramètre par défaut qui indexe tous les champs de type Varchar. En limitant l'indexation aux colonnes sémantiquement riches via le paramètre fields, vous réduisez non seulement la taille de l'index sur le disque (format .sashdat), mais vous accélérez également de manière drastique les temps de réponse des fonctions de recherche searchIndex et searchAggregate.
Leviers techniques de l'indexation ciblée
  • Réduction de l'empreinte mémoire : Moins de colonnes indexées signifie un dictionnaire de termes plus léger chargé en RAM par le serveur CAS.
  • Optimisation du Sharding : La distribution des données sur les workers CAS est plus fluide lorsque l'index n'est pas surchargé de colonnes inutiles (types date ou numeric).
  • Performance du Scoring : Les algorithmes de pertinence (TF-IDF ou BM25) sont plus précis lorsque le bruit de fond (mots vides, IDs) est éliminé à la source.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

searchAnalytics

buildTermIndex
À lire aussi...
Illustration FAQ Comment le paramètre de tokenisation transforme-t-il la précision de vos analyses textuelles ? Illustration FAQ Quel est l'usage métier de la table de sortie générée par le paramètre casOut ? Illustration FAQ Pourquoi l'action buildTermIndex est-elle indispensable pour booster la pertinence de vos moteurs de recherche ? Illustration FAQ Quelles capacités multilingues offre cette action pour les organisations internationales ?