4.2 深入神经元激活函数

单层感知器一般采用的是符号激活函数（阶跃函数）作为神经元激励。随着深度学习发展，后续出现了S型神经元、Tanh型神经元、ReLU型神经元等。

4.2.1 阶跃激活函数型神经元

模型描述：

• 输入：多个输入\(x_1,x_2…,x_m\)，输入值为任意实数。
• 权重：\(w_1,w_2,…,w_m\)每个输入有与之对应的权重，表示相应输入对于输出重要性的实数。
• 阈值：也称为偏置，是神经元的一个参数。可以把偏置看作一种表示让神经元输出1有多容易的估算，若偏置很大输出 1 则容易的。若偏置是一个非常小的负数，输出 1 则很困难。
  \(w_0×1=b\)
• 输出：0者1。由分配权重后的总和\(∑_j {w_j x_j}\)，分配权重后的总和小于或大于一些阈值决定。 $$output = \begin {cases} 0\ \ \ \ \ \ \ if \ \ ∑_j {w_j x_j} ≤ threshold \\ 1\ \ \ \ \ \ \ if \ \ ∑_j {w_j x_j} > threshold \end {cases}$$ 若\(wx=∑_j {w_j x_j},b=-threshold\),则： $$output = \begin {cases} 0\ \ \ \ \ \ \ if \ \ wx+b ≤ 0 \\ 1\ \ \ \ \ \ \ if \ \ wx+b > 0 \end {cases}$$

工作原理：

神经网络根据外部的刺激和结果，自动调整神经元的权重和偏置，对权重或偏置的微小改动能够引起输出的微小变化，反复改动权重和偏置以产生更好的输出，让⽹络能够表现得像想要的那样。这时神经⽹络就在学习，借此能学会解决某些问题。

缺陷：

• 可以实现逻辑功能，由于与非门是通用运算，多个与非门可以构建出任何运算，故可实现任何逻辑功能，但对于计算稍微复杂的函数其计算力显得无能为力。
• 在网络中一个权重或偏置的微小改动，有时会引起神经元的输出完全翻转，如 0 变到 1。

4.2.2 S型神经元

模型描述：

• 输入：多个输入\(x_1,x_2…,x_m\)，输入值为 0 何 1 之间的任意值，不仅仅是 0 或 1。
• 权重：\(w_1,w_2,…,w_m\) 为每个输入与之对应的权重，表示相应输入对于输出重要性的实数。
• 阈值：偏置\(b\)。
• 输出值：\(σ(wx + b)\)是介于0和1之间的任意值，\(σ\)为 S 型函数：
  • 当\(z = w x + b \) 是一个很大的正数，\(σ(z) ≈ 1\)，S 型神经元近似一个符号型神经元。
  • 当\(z = w x + b \)是一个很大的负数，\(σ(z) ≈ 0\)，S 型神经元近似一个符号型神经元。
  • 在\(z = w x + b \)取中间值时，S 型神经元的行为和符号型神经元有比较大的偏离。 $$σ(z)=\frac {1}{1+e^{-z}} → output=\frac {1}{1+exp(-∑_j {w_j x_j}-b) }$$

符号型神经元和 S 型神经元比较：

• 符号型神经元输出只能是0或1，而S 型神经元可以输出 0 和 1 之间的任何实数。
• 符号型神经元对于一个权重或偏置的微小改动可能会引起输出的完全翻转，这样的翻转可能会引起网络行为的完全改变；S型神经元是阶跃型的平滑版，\(σ\) 的平滑意味着权重和偏置的微小变化\(\Delta w_j\)和\(\Delta b\)，会从神经元产生一个更加微小的输出变化\(\Delta output\)

缺陷：

σ′ 降低了梯度，减缓了学习。

4.2.3 Tanh激励函数型神经元

模型描述：

• 输入: \(x\)，权重向量为\(w\)，偏置为\(b\)
• 输出： $$z=w∙x+b\\tanh(z)=\frac {e^z-e^{-z}}{e^z+e^{-z}}\\σ(z)=\frac {1 + tanh \frac {z}{2}}{2}$$

Tanh型神经元与S型神经元比较：

Tanh 型神经元的输出的值域是 (-1,1) 而非S型神经元的(0,1)，若构建Tanh 型神经元，需要正规化最终的输出。

缺陷：

\(σ′\) 降低了梯度，减缓了学习。

4.2.4 ReLU修正线性激励函数型神经元

模型描述：

输入为\(x\)，权重向量为\(w\)，偏置为\(b\)的 ReLU 神经元的输出为：

$$max(0,w∙x + b)$$

特点：

• ReLU 能够用来计算任何函数，可以使用反向传播算法和随机梯度下降进行训练。
• 提高ReLU 的带权输入并不会导致其饱和，所以就不存在学习速度下降。
• 另外当带权输入是负数的时候，梯度就消失了，神经元就完全停止学习。