CV-Back Propagation

Computing Gradients

$$J(\theta )=\sum _{i=1}\mathbb{L}(f_L(\dots f_2(f_1(x_0^{(i)},{\theta }_1),{\theta }_2),\dots {\theta }_L),y^{(i)})$$

$${\theta }_L\leftarrow \frac{\partial J}{\partial {\theta }_L}=\frac{\partial J}{\partial X_L}\frac{\partial X_L}{\partial {\theta }_L}$$$${\theta }_{L-1}\leftarrow \frac{\partial J}{\partial {\theta }_{L-1}}=\frac{\partial J}{\partial X_L}\frac{\partial X_L}{\partial X_{L-1}}\frac{\partial X_{L-1}}{\partial {\theta }_{L-1}}$$

要更新神经网络中某一层的梯度，我们需要基于反向传播（Backpropagation）算法的步骤。这是深度学习中训练神经网络的核心步骤，它可以分为几个主要步骤：前向传播、计算损失、反向传播计算梯度、更新权重。假设我们已经完成了前向传播并计算了损失，现在我们要更新某一层的梯度。以下是详细的步骤：

1. 前向传播计算输出

假设你有一个输入$x$ 和对应的输出$y$，前向传播可以通过神经网络计算出模型的预测输出$\hat{y}$。然后，我们会基于实际的$y$ 和预测的$\hat{y}$ 计算损失$\mathcal{E}$（通常是均方误差或交叉熵）。

2. 反向传播计算梯度

在反向传播中，我们从输出层开始逐层计算梯度，直到到达目标层。这一步的关键是利用链式法则计算每层参数对损失$\mathcal{E}$ 的偏导数。

假设我们有一个中间层$L$，其输入为$x_L$，权重为$W_L$，激活函数为$f$，输出为$y_L=f(W_L\cdot x_L)$。我们关心的是如何更新这一层的权重。

(1) 计算损失对输出的偏导数$\frac{\partial \mathcal{E}}{\partial y_L}$

首先，我们需要计算损失对这一层输出$y_L$ 的偏导数。如果$L$ 层不是输出层，则可以根据下一层的梯度计算得到：

$$\frac{\partial \mathcal{E}}{\partial y_L}=\frac{\partial \mathcal{E}}{\partial y_{L+1}}\cdot \frac{\partial y_{L+1}}{\partial y_L}$$

(2) 计算损失对权重的偏导数$\frac{\partial \mathcal{E}}{\partial W_L}$

接下来，我们要计算损失对$L$ 层权重$W_L$ 的偏导数。通过链式法则，我们可以得到：

$$\frac{\partial \mathcal{E}}{\partial W_L}=\frac{\partial \mathcal{E}}{\partial y_L}\cdot \frac{\partial y_L}{\partial W_L}$$

如果$y_L=f(W_L\cdot x_L)$，那么：

$$\frac{\partial y_L}{\partial W_L}=f^{\prime }(W_L\cdot x_L)\cdot x_L$$

所以，最终我们得到：

$$\frac{\partial \mathcal{E}}{\partial W_L}=\frac{\partial \mathcal{E}}{\partial y_L}\cdot f^{\prime }(W_L\cdot x_L)\cdot x_L$$

其中$f^{\prime }$ 是激活函数$f$ 的导数。

3. 更新权重

一旦得到了梯度$\frac{\partial \mathcal{E}}{\partial W_L}$，我们可以使用梯度下降法更新权重。假设学习率为$\eta$，则更新公式为：

$$W_L:=W_L-\eta \cdot \frac{\partial \mathcal{E}}{\partial W_L}$$

• 解释：这一公式表示我们沿着损失函数的负梯度方向调整权重，使得损失逐渐减小，从而提高模型的预测准确度。
• 学习率$\eta$：学习率控制步长。步长过大可能会错过最优解，步长过小则训练速度较慢。

4. 反复应用上述步骤

反向传播和权重更新的过程会对每一层重复进行，直到所有层的权重都更新完毕。这一轮的梯度计算和更新完成后，模型的权重就得到了调整。然后，我们继续下一轮训练（即下一批数据），重复上述的前向传播、反向传播和更新步骤。

例子：单层的梯度更新

假设你要更新某个中间层$L$ 的梯度：

1. 首先计算损失对该层输出$y_L$ 的梯度$\frac{\partial \mathcal{E}}{\partial y_L}$。
2. 然后，利用链式法则，计算该层权重$W_L$ 的梯度$\frac{\partial \mathcal{E}}{\partial W_L}$。
3. 使用梯度下降更新权重：$W_L:=W_L-\eta \cdot \frac{\partial \mathcal{E}}{\partial W_L}$。

小结

更新某一层的梯度的关键步骤包括：

• 计算每层输出的梯度。
• 根据每层的输出梯度推导权重的梯度。
• 使用学习率调整权重。

以上就是更新某一层梯度的完整步骤。如果你还有不理解的地方，或者想了解更具体的计算例子，请告诉我！