Funzione softmax

In matematica, una funzione softmax, o funzione esponenziale normalizzata,^[1] è una generalizzazione di una funzione logistica che mappa un vettore ${\displaystyle K}$-dimensionale ${\displaystyle \mathbf {z} }$ di valori reali arbitrari in un vettore ${\displaystyle K}$-dimensionale ${\displaystyle \sigma (\mathbf {z} )}$ di valori compresi in un intervallo ${\displaystyle (0,1)}$ la cui somma è ${\displaystyle 1}$. La funzione è data da:

${\displaystyle \sigma :\mathbb {R} ^{K}\to \left\{z\in \mathbb {R} ^{K}{\Big |}z_{i}>0,\ \sum _{i=1}^{K}z_{i}=1\right\}}$

${\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}$    per ${\displaystyle j=1,\ldots ,K.}$

La funzione softmax è anche il gradiente della funzione LogSumExp. La funzione softmax è usata in vari metodi di classificazione multi-classe, come la regressione logistica multinomiale,^[2] analisi discriminante lineare multiclasse, classificatori bayesiani e reti neurali artificiali.^[3]