Les fonctions d'activation, définies par le paramètre act au sein de la configuration de la couche, sont essentielles pour introduire la non-linéarité dans le modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting).. Voici les principales options :
- AUTO : Sélectionne automatiquement la fonction d'activation. Par exemple,
RECTIFIERpour les couches convolutionnelles,TANHpour les couches entièrement connectées,IDENTITYpour les couches de pooling, etSOFTMAXpour les couches de sortie de classification. - ELU : Fonction Exponential Linear Unit, qui renvoie l'entrée si positive, sinon
(exp(t) - 1) * 1.0. - FCMPProcédure de création de fonctions et sous-programmes personnalisés réutilisables. Elle permet d'étendre le langage SAS et de partager des logiques métier complexes entre différentes étapes DATA. : Permet d'intégrer une fonction d'activation personnalisée définie par l'utilisateur.
- GELU : Fonction Gaussian Error Linear Unit, calculée comme
t*PHI(t)oùPHIest la fonction de distribution cumulative normale standard. - IDENTITY : Une fonction linéaire simple,
t. - LEAKY : Une variante de ReLU où
xsix >= 0, et0.1*xsix < 0. - LOGISTIC (alias SIGMOID) : Transforme les entrées dans une plage de 0 à 1 (
1/(1 + e^(-t))). - RECTIFIER (alias RELU) : La fonction Rectified Linear Unit, où
0sit < 0, sinont. - SOFTPLUS : Une fonction lisse qui est une approximation de ReLU, calculée comme
log(1 + e^t). - TANH : La tangente hyperbolique, qui transforme les entrées dans une plage de -1 à 1 (
1 - 2/(1 + e^(2t))).