Pour éviter le surapprentissage de votre modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting). de deep learningSous-ensemble du Machine Learning basé sur des réseaux de neurones artificiels profonds. Il excelle dans l'extraction automatique de motifs complexes depuis des données brutes (images, texte, son)., dnnTrain offre plusieurs mécanismes avancés configurables via le paramètre optimizer. Tout d'abord, vous pouvez appliquer une régularisation de type Lasso ou Ridge en définissant respectivement regL1 ou regL2 avec des valeurs initiales faibles. Ensuite, la technique de désactivation aléatoire des neurones est disponible avec le paramètre dropout, qui spécifie la probabilité de mettre à zéro la sortie d'un neurone dans une couche, et dropoutInput pour les variablesColonnes d'une table SAS contenant des données spécifiques (numériques ou caractères). Elles possèdent des attributs comme le nom, le type, la longueur, l'étiquette et le format d'affichage. d'entrée. Vous pouvez choisir entre une approche standard ou inversée via dropoutType. De plus, l'arrêt prématuré est géré de manière intelligente via les paramètres stagnation et threshold. Si la fonction de perte évaluée sur la validTable ne s'améliore plus au-delà du seuil défini pendant un certain nombre d'itérations, l'entraînement s'arrête, ce qui vous permet de capturer les poids optimaux stockés dans la table définie par bestWeights.
Quelles stratégies de régularisation et de prévention du surapprentissage propose dnnTrain pour garantir un modèle robuste ?
Exemples pour l'action dnnTrain
Entraînement d'un perceptron multicouche (MLP) basique
Cet exemple entraîne un réseau de neurones avec deux couches cachées de 5 neurones chacune, en utilisant la fonction d'activation RELU par défaut. La table des poids est sauvegardée.
Entraînement avancé avec Optimiseur ADAM, Dropout et Arrêt précoce
Dans cet exemple, nous poussons les réglages : utilisation de l'optimiseur ADAM, ajout de régularisation par 'dropout' (pour éviter le surapprentissage), suivi de la stagnation sur une table de validation, et sauvegarde des meilleurs poids ('bestWeights') rencontrés pendant l'entraînement.