Quelles sont les options de fonctions d'activation disponibles pour les couches d'un réseau de neurones dans SAS Viya ?

Les fonctions d'activation, définies par le paramètre act au sein de la configuration de la couche, sont essentielles pour introduire la non-linéarité dans le modèleReprésentation mathématique entraînée sur des données pour capturer des tendances, prédire des résultats ou classifier des observations via des algorithmes (Régression, Forêt aléatoire, Gradient Boosting).. Voici les principales options :

  • AUTO : Sélectionne automatiquement la fonction d'activation. Par exemple, RECTIFIER pour les couches convolutionnelles, TANH pour les couches entièrement connectées, IDENTITY pour les couches de pooling, et SOFTMAX pour les couches de sortie de classification.
  • ELU : Fonction Exponential Linear Unit, qui renvoie l'entrée si positive, sinon (exp(t) - 1) * 1.0.
  • FCMPProcédure de création de fonctions et sous-programmes personnalisés réutilisables. Elle permet d'étendre le langage SAS et de partager des logiques métier complexes entre différentes étapes DATA. : Permet d'intégrer une fonction d'activation personnalisée définie par l'utilisateur.
  • GELU : Fonction Gaussian Error Linear Unit, calculée comme t*PHI(t)PHI est la fonction de distribution cumulative normale standard.
  • IDENTITY : Une fonction linéaire simple, t.
  • LEAKY : Une variante de ReLU où x si x >= 0, et 0.1*x si x < 0.
  • LOGISTIC (alias SIGMOID) : Transforme les entrées dans une plage de 0 à 1 (1/(1 + e^(-t))).
  • RECTIFIER (alias RELU) : La fonction Rectified Linear Unit, où 0 si t < 0, sinon t.
  • SOFTPLUS : Une fonction lisse qui est une approximation de ReLU, calculée comme log(1 + e^t).
  • TANH : La tangente hyperbolique, qui transforme les entrées dans une plage de -1 à 1 (1 - 2/(1 + e^(2t))).

Cette réponse vous a-t-elle aidé ?

Vos votes aident à améliorer notre base de connaissances.

Exemples pour l'action addLayer

1. Ajout de la couche d'entrée (INPUT)
Illustration corporate

Cet exemple définit la couche INPUT (tenseurs RGB 3x32x32). Le paramètre scale (1/255) normalise les pixels dans [0,1], une étape critique pour stabiliser la descente de gradient.

2. Ajout d'une couche de convolution (CONVO)
Illustration corporate

Cet exemple intègre une couche CONVO (16 filtres 3x3, stride=1). L'activation ReLU introduit la non-linéarité, et l'initialisation XAVIER préserve la variance des gradients.

Assemblage d'un réseau CNN de bout en bout
Illustration corporate

Cet exemple finalise le CNN : Max Pooling (réduction spatiale), FC (dropout 0.2) et OUTPUT Softmax (entropie croisée).