Comment optimiser la performance et la résilience des tables créées avec 'addTable' sur le serveur CAS ?

Pour optimiser la performance et la résilience, plusieurs paramètres clés de l'action addTableAction CAS permettant de créer une table en mémoire à partir de données locales ou de résultats d'étapes de traitement. Elle est essentielle pour l'analyse interactive et temporaire dans Viya. peuvent être configurés :

  • copies : Ce paramètre définit le nombre de copies redondantes de chaque ligne de la table. Une valeur plus élevée améliore la tolérance aux pannes (en cas de défaillance d'un nœud, les données sont toujours disponibles sur une copie), mais augmente la consommation de mémoire. La valeur minimale est 0 (aucune tolérance aux pannes) et la valeur par défaut est 1.
  • maxMBytes : Permet de spécifier la quantité maximale de mémoire physique (en mégaoctets) à allouer pour la table en mémoire. Au-delà de ce seuil, le serveur utilisera des fichiers temporaires et les capacités de gestion de mémoire du système d'exploitation. La valeur par défaut est 16 Mo.
  • commitRecords et commitSeconds : Ces paramètres contrôlent la fréquence à laquelle le serveur valide les lignes reçues dans la table. commitRecords spécifie un nombre de lignes, tandis que commitSeconds définit un intervalle de temps. La valeur par défaut pour les deux est 0, ce qui signifie que le serveur détermine la meilleure stratégie de validation. Ajuster ces valeurs peut être utile pour les grands volumes de données afin d'équilibrer la performance et la consommation de ressources.
  • compress : En définissant ce paramètre à TRUE, vous activez la compression de la table cible en mémoire, ce qui peut réduire considérablement l'empreinte mémoire, en particulier pour les données redondantes.

L'utilisation judicieuse de ces options permet d'adapter le comportement de addTableAction CAS permettant de créer une table en mémoire à partir de données locales ou de résultats d'étapes de traitement. Elle est essentielle pour l'analyse interactive et temporaire dans Viya. aux besoins spécifiques de votre environnement et de vos données.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Exemples pour l'action addTable

Transfert simple via CASL (Upload)

L'action addTable n'étant pas appelée directement, voici l'équivalent idiomatique en CASL via l'instruction UPLOAD qui sollicitera addTable en arrière-plan avec les options par défaut.

Chargement optimisé (simulant addTable en coulisses)

Lors de l'utilisation de l'instruction UPLOAD, on peut passer de nombreuses options qui correspondent aux paramètres de addTable, comme compress, promote, ou les options de partitionnement.