Optimisation In-Memory des Matrices de Corrélation

Plutôt que d'afficher d'immenses matrices à l'écran, il est recommandé de sauvegarder les résultats pour un traitement en aval. Le paramètre pearsonOut est spécifiquement conçu pour générer une table de sortie contenant les statistiques demandées directement en mémoire. Couplé au paramètre outputTables, vous pouvez persister n'importe quelle table de résultat sous forme de table distribuée. Pour la tolérance aux pannes au sein de votre architecture, ajustez l'option replication qui duplique vos données sur les différents nœuds du cluster, garantissant une haute disponibilité.

Secrets de performance : comment manipuler les résultats de corrélation pour des analyses à très grande échelle ? - correlation

Plutôt que d'afficher d'immenses matrices à l'écran, il est recommandé de sauvegarder les résultats pour un traitement en aval. Le paramètre pearsonOut est spécifiquement conçu pour générer une table de sortie contenant les statistiques demandées directement en mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya.. Couplé au paramètre outputTables, vous pouvez persister n'importe quelle table de résultat sous forme de table distribuée. Pour la tolérance aux pannes au sein de votre architecture, ajustez l'option replication qui duplique vos données sur les différents nœuds du clusterEnsemble de nœuds (machines) interconnectés, gérés par Kubernetes, qui collaborent pour exécuter les microservices et le moteur CAS de SAS Viya, assurant haute disponibilité et passage à l'échelle., garantissant une haute disponibilité.

Exemples pour l'action correlation

Corrélation de Pearson basique

Calcule la matrice de corrélation pour toutes les variables numériques de la table.

Analyse avancée avec Alpha de Cronbach et sauvegarde

Analyse complète incluant les covariances, l'alpha de Cronbach, le tri par rang, et l'exportation des résultats vers une table CAS.

Corrélation croisée (With)

Calcule uniquement les corrélations entre un groupe cible (Income) et les autres variables.

Vous pourriez aussi aimer...

Conseil de l'Expert

En tant que consultant senior SAS Viya, j'ai souvent vu des environnements CAS saturer non pas à cause du calcul, mais à cause du transfert de données entre le moteur distribué et la session cliente. Pour des matrices de corrélation impliquant des milliers de variables, la stratégie doit passer d'une approche "Affichage" à une approche "Data-Driven Distribution".

Ne ramenez jamais une matrice de corrélation volumineuse dans l'interface SAS Studio ou le log (ODS). Utilisez l'action correlation avec le paramètre casOut. Contrairement à une procédure classique qui génère des objets ODS gourmands en mémoire client, l'action CAS écrit les coefficients directement sur les "Workers" de manière distribuée, préservant ainsi la stabilité du nœud de contrôle (Controller).

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.