applyConcept

Comment optimiser le traitement des documents volumineux via la taille des blocs (chunks) ?

Optimisation Mémoire : Le Paramètre litiChunkSize

Taille blocs litiChunkSize Performance mémoire Optimisation indexation Traitement documentaire

Le paramètre litiChunkSize détermine la taille des blocs utilisés pour le traitement d'un document. Par défaut, la taille de bloc est de "32K". Une valeur de ALL indique qu'aucun découpage n'est effectué et que l'intégralité du document est chargée et traitée en une seule fois. La taille peut être spécifiée en octets (B), kilooctets (K) ou mégaoctets (M). Des tailles de blocs plus petites (par exemple, 16K ou 32K) sont avantageuses pour le traitement de documents avec une mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. limitée ou pour un traitement incrémentiel. L'utilisation de ALL peut ne pas être optimale pour de très grands documents en raison d'une consommation mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. élevée et d'une performance réduite. Pour les documents volumineux, privilégiez des tailles de blocs plus petites, telles que 32K ou 64K, afin d'améliorer la vitesse de traitement et de réduire la consommation de mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya..

Schéma : Comment optimiser le traitement des documents volumineux via la taille des blocs (chunks) ?

Exemples pour l'action applyConcept

Application du modèle de concept de base
Schéma conceptuel de l'exemple : Application du modèle de concept de base

Cet exemple illustre l'extraction d'entités via l'action applyConcept. Sans paramètre model, le moteur NLP déploie son modèle LISI natif pour isoler types d'entités et faits structurés.

Extraction avancée avec filtrage de concepts et optimisation mémoire
Schéma conceptuel de l'exemple : Extraction avancée avec filtrage de concepts et optimisation mémoire

Cet exemple optimise l'action applyConcept : segmentation par chunks de 16 Ko, filtrage sélectif via dropConcepts et traçabilité des règles avec ruleMatchOut pour un scoring haute précision.

Conseil de l'Expert
Attention au piège classique : Le découpage en blocs peut parfois couper une phrase ou une expression pile au milieu, ce qui risque de faire échouer une règle de concept complexe (C_CONCEPT ou SEQUENCE). Si vos règles cherchent des motifs très espacés dans le texte, vous devrez potentiellement augmenter cette taille (ex: "128K" ou "1M").

Cette réponse vous a-t-elle aidé ?

Utilisateur FAQ SAS Viya
Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

textRuleScore

applyConcept
À lire aussi...
Comment définir la table CAS source des documents à analyser ? Comment définir la table CAS source des documents à analyser ? Comment fournir un modèle d'extraction de concepts personnalisé (fichier LI) ? Comment fournir un modèle d'extraction de concepts personnalisé (fichier LI) ? Comment exclure certains concepts primaires des résultats d'extraction ? Comment exclure certains concepts primaires des résultats d'extraction ? Quelle option permet de capturer les informations sur les correspondances de faits dans une table CAS distincte ? Quelle option permet de capturer les informations sur les correspondances de faits dans une table CAS distincte ? Quelle variable de la table CAS contient le texte à traiter ? Quelle variable de la table CAS contient le texte à traiter ?