connectedComponents

Comment traiter des milliards de noeuds et de liens sans saturer votre infrastructure Big Data ?

Optimisation de la Puissance Distribuée

Pour les environnements analytiques massifs, la gestion de la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. et de la puissance de calcul est un enjeu critique. En activant le paramètre booléen distributed, vous instruisez le plan de données de répartir intelligemment la charge de traitement du graphe sur l'ensemble des nœuds de votre architecture massivement parallèle. Couplé au paramètre nThreads, qui définit le nombre maximum de threadsUnités d'exécution parallèles au sein d'un processus CAS. Ils permettent de distribuer simultanément les calculs sur plusieurs cœurs CPU pour accélérer le traitement des données dans SAS Viya. à exploiter par nœud de calcul, vous pouvez paralléliser les efforts et réduire considérablement les temps de réponse de l'algorithme.

Exemples pour l'action connectedComponents

Détection basique des composants
Illustration corporate

Cet exemple segmente un graphe non orienté en sous-graphes isolés via l'action connectedComponents. Il identifie les structures de parenté topologique pour partitionner les nœuds en classes d'équivalence.

Analyse avancée avec algorithme UNIONFIND et statistiques
Illustration corporate

Cet exemple maximise la traçabilité de l'algorithme Union-Find via un logging agressif et une extraction exhaustive des métadonnées structurelles dans trois tables CAS distinctes.

Conseil de l'Expert
e confondez pas nThreads avec une réserve de puissance infinie. Sur des graphes massifs, un sur-threading peut entraîner une "contention mémoire" (memory contention). La règle d'or est de calibrer nThreads pour qu'il soit inférieur ou égal au nombre de cœurs physiques disponibles par worker, afin d'éviter le swapping qui détruirait les performances de l'algorithme network.

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

optNetwork

connectedComponents
À lire aussi...
Illustration FAQ Comment l'action connectedComponents peut-elle revolutionner l'analyse de vos reseaux metier sous SAS Viya ? Illustration FAQ Quels sont les algorithmes caches derriere la detection de composantes et comment les forcer ? Illustration FAQ Graphe oriente ou non oriente : quel impact direct sur vos resultats de segmentation ? Illustration FAQ Quels secrets recelent les tables de sortie generees et comment les exploiter en CASL ?