Le choix de l'algorithme via le paramètre method est déterminant pour la performance. La méthode EXACT garantit une précision mathématique totale mais peut saturer la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. sur des milliards de lignes. À l'inverse, la méthode ITERATIVE, activée par défaut, est conçue pour la scalabilité dans CAS Cloud Analytic ServicesMoteur d'exécution in-memory de SAS Viya. Il assure le traitement massivement parallèle (MPP) et distribué des données pour optimiser les performances analytiques et le passage à l'échelle.. Elle permet de traiter des volumes massifs de données tout en offrant une précision paramétrable via pctlDef, qui propose cinq définitions différentes pour le calcul des quantilesLes quantiles sont des valeurs divisant un jeu de données trié en intervalles égaux. Ils permettent d'analyser la distribution et la dispersion des données (ex: quartiles pour des segments de 25%)., s'adaptant ainsi aux standards statistiques de votre secteur d'activité.
Méthode exacte ou itérative : comment optimiser le calcul de vos quartiles selon le volume de données ?
Optimisation des Statistiques Descriptives sous SAS Viya 4
Exemples pour l'action boxPlot
Calcul de base des statistiques de boîte
Exécute une analyse boxPlot standard sur la variable 'score' de la table 'scores'.
Analyse complète avec détection de valeurs aberrantes et export
Cet exemple calcule les percentiles exacts, définit les moustaches au 10ème/90ème percentile et demande l'extraction des 50 pires/meilleures valeurs aberrantes dans une table de sortie.
Conseil de l'Expert
Pour les tables dépassant le milliard de lignes, évitez absolument METHOD=EXACT qui force un tri complet des données en mémoire. Privilégiez METHOD=ITERATIVE et jouez sur le paramètre QNTLPREC pour équilibrer la vitesse de convergence et la précision souhaitée.
Maîtrise de la performance analytique dans CAS
- Gestion de la mémoire (Memory Footprint) : La méthode EXACT charge les valeurs uniques et leurs fréquences en mémoire ; si la cardinalité est trop élevée, le nœud de contrôle CAS risque l'OOM (Out of Memory).
- Approximation vs Précision : Dans un environnement Cloud, l'erreur relative de la méthode itérative est souvent négligeable (inférieure à 0.01%) par rapport au gain de temps de traitement qui peut être divisé par 10.
Cette réponse vous a-t-elle aidé ?
À lire aussi...
Pourquoi l'action boxPlot est-elle un outil incontournable pour votre analyse exploratoire de données ?
Comment configurer boxPlot pour extraire précisément les valeurs aberrantes et non de simples statistiques ?
Est-il possible de personnaliser la sensibilité des moustaches pour des besoins métier spécifiques ?
Comment traiter des tables massives partitionnées sans dégrader les temps de réponse du cluster ?