Le paramètre optimizer est le coeur de l'apprentissage de votre réseau de neuronesUn réseau de neurones est un modèle d'IA bio-inspiré composé de couches de nœuds interconnectés, capable d'apprendre des relations complexes dans les données pour prédire ou classifier avec précision.. Dans la table des options, le sous-paramètre algorithm vous permet de choisir des méthodes d'optimisation de pointe telles que ADAM, LBFGS, MOMENTUM ou la descente de gradient stochastique classique. Chaque algorithme possède ses propres paramètres de réglage fin. Par exemple, si vous choisissez ADAM, vous pouvez configurer les taux de déclin exponentiel beta1 et beta2. La gestion du taux d'apprentissage est critique : le paramètre learningRatePolicy offre des stratégies telles que FIXED, INV, MULTISTEP, POLY ou STEP, permettant de réduire progressivement le taux au fil des époques (définies par maxEpochs). Enfin, l'architecture distribuée de SAS Viya est contrôlée par le sous-paramètre mode, qui propose des méthodes d'agrégation des poids comme SYNCHRONOUS ou ELASTIC, cette dernière permettant une synchronisation asynchrone réglable via syncFreq.
Comment configurer l'algorithme d'optimisation pour l'entraînement de mon modèle avec dnnTrain ?
Exemples pour l'action dnnTrain
Entraînement d'un perceptron multicouche (MLP) basique
Cet exemple entraîne un réseau de neurones avec deux couches cachées de 5 neurones chacune, en utilisant la fonction d'activation RELU par défaut. La table des poids est sauvegardée.
Entraînement avancé avec Optimiseur ADAM, Dropout et Arrêt précoce
Dans cet exemple, nous poussons les réglages : utilisation de l'optimiseur ADAM, ajout de régularisation par 'dropout' (pour éviter le surapprentissage), suivi de la stagnation sur une table de validation, et sauvegarde des meilleurs poids ('bestWeights') rencontrés pendant l'entraînement.