dlScore

Pourquoi l'accélération matérielle est-elle un atout majeur et comment paramétrer les processeurs graphiques lors du scoring profond ?

Optimisation du Scoring Deep Learning sur Viya 4

GPU Deep Learning Inférence Accélération matérielle VRAM

Le scoringProcessus d'application d'un modèle prédictif à de nouvelles données pour calculer une probabilité ou un score, permettant ainsi d'automatiser la prise de décision en temps réel sur SAS Viya. de réseaux de neurones profonds est extrêmement gourmand en calculs matriciels. L'outil propose un bloc de paramètres gpu qui délègue massivement ces opérations à des processeurs graphiques dédiés, réduisant drastiquement les temps d'inférence. L'activation se fait en spécifiant les périphériques via la liste devices. De plus, l'architecte Data peut exiger l'utilisation exclusive du processeur graphique avec useExclusive, ajuster la précision des calculs (par exemple, exiger une précision FP16 pour la vitesse ou FP32 pour l'exactitude algorithmique), et même activer l'optimisation avancée useTensorRT pour maximiser le débit d'inférence sur les puces compatibles.

Schéma : Pourquoi l'accélération matérielle est-elle un atout majeur et comment paramétrer les processeurs graphiques lors du scoring profond ?

Exemples pour l'action dlScore

Scoring simple d'un modèle de Deep Learning

Cet exemple illustre l'usage minimal de dlScore en fournissant les données d'entrée, le modèle, ses poids, et la table de sortie.

Scoring optimisé sur GPU avec extraction de variables et Top-K

Ce scénario avancé montre comment effectuer le scoring sur un GPU, copier la colonne d'identifiant depuis la table d'entrée, et ne garder que le top 3 des probabilités de classification.

Extraction des caractéristiques profondes (Feature Extraction)

Utile pour le Transfer Learning : cet exemple score les données mais sauvegarde également les activations internes d'une couche cachée spécifique (ex: 'FC1') dans la table layerOut.

Conseil de l'Expert
Ne vous contentez pas d'activer le GPU ; surveillez l'utilisation de la mémoire vidéo (VRAM). En scoring de masse, un débordement de mémoire GPU force le basculement vers le CPU ou provoque un échec de la session CAS. Utilisez l'option instanciation=1 dans vos couches pour minimiser l'empreinte mémoire lors de l'inférence.

Cette réponse vous a-t-elle aidé ?

Utilisateur FAQ SAS Viya
Vos votes aident à améliorer notre base de connaissances.

Action CAS associée

deepLearn

dlScore
À lire aussi...
Comment l'action dlScore de SAS Viya révolutionne-t-elle le déploiement de vos modèles d'intelligence artificielle en production ? Comment l'action dlScore de SAS Viya révolutionne-t-elle le déploiement de vos modèles d'intelligence artificielle en production ? De quelle manière l'action gère-t-elle l'ingestion et le recadrage à la volée des données visuelles lors de l'inférence des modèles de vision par ordinateur ? De quelle manière l'action gère-t-elle l'ingestion et le recadrage à la volée des données visuelles lors de l'inférence des modèles de vision par ordinateur ? Quels sont les mécanismes techniques intégrés pour propulser l'inférence sur des flux massifs de données textuelles non structurées ? Quels sont les mécanismes techniques intégrés pour propulser l'inférence sur des flux massifs de données textuelles non structurées ? Comment extraire des métriques décisionnelles détaillées et auditer les probabilités sous-jacentes de votre modèle de classification d'entreprise ? Comment extraire des métriques décisionnelles détaillées et auditer les probabilités sous-jacentes de votre modèle de classification d'entreprise ?