神经网络之softmax神经元

引言

在之前的内容里，我们采用的是sigmoid函数作为输出层神经元。这里我们介绍一种softmax函数作为新的输出层。

softmax函数

softmax本质上是一种归一化的过程，假设神经元的带权输入为：

$$z_j^L= \sum_k w_{jk}^La^{L-1}_k + b_j^L$$

定义输出神经元的激活值为：

$$a^{L-1}_k= \frac {e^{z_j^L}} {\sum_k e^{z_k^L}}$$

分母的求和是在所有的输出神经元上进行的。

softmax的意义：

softmax本质上是一种神经元输出的概率分布形式，，每个神经元的输出都可以理解为是正确输出的概率。任何输出的减少都会必然导致其他输出的增加，保证了所有的输出相加为1。