Funkcja aktywacji

Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.

Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia.

W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny).

W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.

Funkcja aktywacji	Wzór matematyczny	Gładka	Monotoniczna	Różniczkowalna	Uwagi
Funkcja liniowa	$y(x)=ax+b$	Szablon:Tak	Szablon:Tak	Szablon:Tak	Funkcja nieograniczona Z reguły $b=0$
Jednostronnie obcięta funkcja liniowa	$y(x)=\{\begin{array}{ccc}0& \text{dla}& x<0\\ x& \text{dla}& x⩾0\end{array}$	Szablon:Tak	Szablon:Tak	Szablon:Tak (oprócz punktu $x=0$)	Brak górnej granicy
Obcięta funkcja liniowa	$y(x)=\{\begin{array}{ccc}-1& \text{dla}& x<-1\\ x& \text{dla}& -1⩽x⩽1\\ 1& \text{dla}& x>1\end{array}$	Szablon:Nie	Szablon:Tak	Szablon:Tak (oprócz punktów $x=1$ i $x=-1$)	Przedziałami liniowa
Funkcja progowa unipolarna	$y(x)=\{\begin{array}{ccc}0& \text{dla}& x<a\\ 1& \text{dla}& x⩾a\end{array}$	Szablon:Nie	Szablon:Tak	Szablon:Nie	a – zadana wartość progowa Z reguły $a=0$ Taką funkcję aktywacji $(a=0)$ zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna	$y(x)=\{\begin{array}{ccc}-1& \text{dla}& x<a\\ 1& \text{dla}& x⩾a\end{array}$	Szablon:Nie	Szablon:Tak	Szablon:Nie	a – zadana wartość progowa Z reguły $a=0$
Sigmoidalna funkcja unipolarna (funkcja logistyczna)	$y(x)=\frac{1}{1+e^{-\beta x}}$	Szablon:Tak	Szablon:Tak	Szablon:Tak	Z reguły $\beta \in (0,1]$ Gdy $\beta \to \mathrm{\infty },$ funkcja przechodzi w progową unipolarną funkcję aktywacji
Sigmoidalna funkcja bipolarna (tangens hiperboliczny)	$y(x)=\frac{2}{1+e^{-\beta x}}-1=\frac{1-e^{-\beta x}}{1+e^{-\beta x}}$	Szablon:Tak	Szablon:Tak	Szablon:Tak	Z reguły $\beta \in (0,1].$ Gdy $\beta \to \mathrm{\infty },$ funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa	$y(x)=a{e}^{-\frac{(x-b{)}^2}{2c^2}}$	Szablon:Tak	Szablon:Nie	Szablon:Tak	$a,b,c>0$ e – liczba Eulera
Znormalizowana funkcja wykładnicza (softmax)	$\sigma (𝐳{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}$	Szablon:Tak	Szablon:Tak	Szablon:Tak	Prawdopodobieństwo zawsze sumuje się do jedności: $\sum _{k=1}^K\sigma (𝐳{)}_k=1$ e – liczba Eulera K – szerokość wektorów wejściowego i wyjściowego Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych