Single-Layer Neural Network (Perceptron)

Le perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt au laboratoire d'aéronautique de l'université Cornell. C'est un modèle inspiré des théories cognitives de Friedrich Hayek et de Donald Hebb. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparatrice entre les deux classes.

Le perceptron peut être vu comme le type de réseau de neurones le plus simple. C'est un classifieur linéaire. Ce type de réseau neuronal ne contient aucun cycle (il s'agit d'un réseau de neurones à propagation avant). Dans sa version simplifiée, le perceptron est mono-couche et n'a qu'une seule sortie à laquelle toutes les entrées sont connectées et les entrées et la sortie sont booléennes. Plus généralement, les entrées peuvent être des nombres réels.

Un perceptron à n entrées (x 1, ... , x n) et à une seule sortie o est défini par la donnée de n poids (ou coefficients synaptiques) (w 1, ... , w n) et un biais (ou seuil) ɵ par :
La sortie o résulte alors de l'application de la fonction de Heaviside au potentiel post-synaptique avec :


Cette fonction non linéaire est appelée fonction d'activation.
Une alternative couramment employée est , la tangente hyperbolique.