Vue d'ensemble des fonctions d'activation
La fonction d'activation est une fonction mathématique appliquée à un signal en sortie d'un neurone artificiel. Le terme de "fonction d'activation" vient de l'équivalent biologique "potentiel d'activation", seuil de stimulation qui, une fois atteint entraîne une réponse du neurone. La fonction d'activation est souvent une fonction non-linéaire. Un exemple de fonction d'activation est la fonction de Heaviside, qui renvoie tout le temps 1 si le signal en entrée est positif, ou 0 s'il est négatif.| Nom | Graphe | équation | Dérivée | étendue | Action |
|---|---|---|---|---|---|
| Identité / Rampe |  |
 |
 |
 |
Détail |
| Marche / Heaviside |  |
 |
 |
 |
Détail |
| Logistique (ou marche douce, ou sigmoïde) |  |
 |
 |
 |
Détail |
| Tangente Hyperbolique (TanH) |  |
 |
 |
 |
Détail |
| Arc Tangente (ArcTan ou Tan-1) |  |
 |
 |
 |
Détail |
| Signe doux |  |
 |
 |
 |
Détail |
| Unité de Rectification Linéaire (ReLU) |  |
 |
 |
 |
Détail |
| Unité de Rectification Linéaire Paramétrique (PReLU) |  |
 |
 |
 |
Détail |
| Unité Exponentielle Linéaire(ELU) |  |
 |
 |
 |
Détail |
| Unité de Rectification Linéaire Douce (SoftPlus) | 
| 
| 
| 
| Détail |
| Identité courbée |  |
 |
 |
 |
Détail |
| Exponentielle douce paramétrique (soft exponential) |  |
 |
 |
 |
Détail |
| Sinusoïde | 
|  |
 |
 |
Détail |
| Sinus cardinal (Sinc) |  |
 |
 |
 |
Détail |
| Fonction Gaussienne |  |
 |
 |
 |
Détail |