L'action dnnTrain de SAS Cloud Analytic ServicesMoteur analytique distribué et en mémoire (in-memory) au cœur de SAS Viya. Il assure le traitement des données et l'exécution des modèles avec une très haute performance. tire pleinement parti de l'architecture distribuée. Pour réduire les temps de calcul, l'utilisation de l'accélération matérielle est primordiale. Vous pouvez configurer le paramètre gpu pour exploiter les processeurs graphiques. En spécifiant gpu=1, l'action utilise par défaut tous les GPU disponibles. De plus, pour accélérer les calculs tout en préservant une qualité de prédiction acceptable, il est recommandé d'utiliser le sous-paramètre de précision avec la valeur FP16, ce qui permet des calculs en demi-précision. Enfin, le paramètre useTensorRT peut être activé pour utiliser le kit de développement TensorRT afin de maximiser la vitesse d'inférence. L'activation de la compression des gradients via le paramètre compression permet également de sparsifier la communication entre les noeuds de calcul lors de l'entraînement distribué.
Comment optimiser les temps de traitement d'un réseau de neurones avec l'action dnnTrain dans SAS Viya ?
Exemples pour l'action dnnTrain
Entraînement d'un perceptron multicouche (MLP) basique
Cet exemple entraîne un réseau de neurones avec deux couches cachées de 5 neurones chacune, en utilisant la fonction d'activation RELU par défaut. La table des poids est sauvegardée.
Entraînement avancé avec Optimiseur ADAM, Dropout et Arrêt précoce
Dans cet exemple, nous poussons les réglages : utilisation de l'optimiseur ADAM, ajout de régularisation par 'dropout' (pour éviter le surapprentissage), suivi de la stagnation sur une table de validation, et sauvegarde des meilleurs poids ('bestWeights') rencontrés pendant l'entraînement.