Activation Function

Requirement**

• 增加非线性表达 $\Rightarrow$ 使得神经网络可以拟合任意函数
• 连续可导的函数 $\Rightarrow$ 可以使用梯度下降法进行参数更新
• 定义域是 $\mathbb{R}$ $\Rightarrow$ 可以映射所有实数
• 单调递增的函数 $\Rightarrow$ 不改变输入的响应状态

saturation function

饱和函数

+ Def

$$x\to \mathrm{\infty }{f}^{{}^{\prime }}(x)\to 0$$

• 导致梯度消失
  • 参数不会被更新
• Sigmoid
• Tanh

Unsaturated function

非饱和函数

• Rectified Linear Unit 修正线性单元 RELU
  • 解决梯度消失问题
• RELU $\to$ Leaky ReLU, Parametric ReLU, ...

Sigmoid

$$\sigma =\frac{1}{1+e^{-y}}{\sigma }^{{}^{\prime }}=\sigma (1-\sigma )$$

[!failure]+ Cons

• 非零均值函数

  • 导致参数同时（正向/反向）更新，不利于收敛

• 导数最大值 $\frac{1}{4}$

  • 导致每层梯度被动缩小 4 倍
    • 导致开始的几层梯度几乎不变
      • 就是梯度消失现象 gradient vanishing problem

-

tanh

[!abstract]+

$$\tanh =\frac{1-e^{-y}}{1+e^{-y}}{\tanh }^{{}^{\prime }}=1-{\tanh }^2$$

[!success]+ Pros

• 零均值函数
  • 比 Sigmoid 更快收敛

[!failure]+ Cons

• 饱和函数
  • 梯度消失

-

ReLU (Rectified Linear Unit)

[!abstract]+

$$\text{ReLU}(x)=\{\begin{array}{ll}x,& x>0\\ 0,& x\le 0\end{array}$$

[!success]+ Pros

• 非零均值函数
  • 收敛速度快
• 非饱和函数
  • 避免梯度消失问题