La gestion de la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. est un défi majeur lors du scoringProcessus d'application d'un modèle prédictif à de nouvelles données pour calculer une probabilité ou un score, permettant ainsi d'automatiser la prise de décision en temps réel sur SAS Viya. de documents très volumineux. Lorsque vous exportez un modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting). d'extraction de concepts, le paramètre litiChunkSize est votre meilleur allié. Par défaut, SAS Viya traite le texte par fragments de 32 kilo-octets. Si vous paramétrez cette valeur sur ALL, le moteur CAS Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle. va charger l'intégralité du document en RAM simultanément. Bien que cela désactive le partitionnement, cette approche risque de saturer la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. et de dégrader radicalement les performances globales du clusterEnsemble de nœuds (machines) interconnectés, gérés par Kubernetes, qui collaborent pour exécuter les microservices et le moteur CAS de SAS Viya, assurant haute disponibilité et passage à l'échelle.. L'expertise dicte de conserver des valeurs modérées comme 32K ou 64K pour garantir un traitement incrémental robuste, fluide et prédictible lors du scoringProcessus d'application d'un modèle prédictif à de nouvelles données pour calculer une probabilité ou un score, permettant ainsi d'automatiser la prise de décision en temps réel sur SAS Viya. de vos plans de données.
Comment éviter l'effondrement de la mémoire CAS lors du traitement de documents textuels massifs ?
Exemples pour l'action exportTextModel
Exportation simple d'un modèle de concepts
Cet exemple transforme une table de concepts en un Astore prêt pour le déploiement.
Exportation avancée d'un modèle de catégories avec pondération
Ici, on exporte un modèle de catégories en spécifiant un algorithme de scoring pondéré et un format de sortie spécifique.
Exportation de modèle de Sentiment avec DataGrid
Utilisation du mode DATAGRID pour compacter les résultats du futur scoring dans une seule colonne par document.