generateShadowFeatures

Comment cette action gère-t-elle les grands jeux de données sans sacrifier les performances de calcul ?

Pour maintenir des performances optimales sur des volumes massifs, SAS Viya utilise des algorithmes de sketch (résumés statistiques). Le paramètre distinctCountLimit (par défaut 10 000) détermine le seuil au-delà duquel l'action passe d'un comptage exact à une estimation. Si ce seuil est franchi, l'activation de misraGries permet d'utiliser l'algorithme de Misra-Gries pour estimer la distribution des fréquences. Cela permet de traiter des milliards de lignes en parallèle sur les plans de données sans saturer la mémoireGemini said
Espace de stockage temporaire (RAM) utilisé par le moteur CAS pour charger et traiter les données à haute vitesse, minimisant les accès disque pour optimiser les performances de SAS Viya. vive du contrôleur CAS.

Exemples pour l'action generateShadowFeatures

Génération basique d'ombres

Génère 5 ombres par défaut pour les variables x1 et x2.

Génération contrôlée avec sauvegarde du modèle

On limite à 2 ombres, on fixe la graine aléatoire pour la reproductibilité et on sauvegarde l'état pour une utilisation future (scoring).

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

dataSciencePilot

generateShadowFeatures
À lire aussi...
Quelle est la différence entre générer des valeurs brutes et générer des niveaux avec generateLevels ? Pourquoi le paramètre nProbes est-il déterminant pour la précision de votre sélection de caractéristiques ? Est-il possible de reproduire et de déployer la logique de génération de shadow features en production ? Comment l'action generateShadowFeatures révolutionne-t-elle la sélection de variables dans vos projets de Machine Learning ? Comment assurer la fidélité des variables fantômes par rapport aux données réelles contenant des valeurs manquantes ?