General Form of Back Propagation, Part 1

1.1 网络拓扑抽象

命题：有向无环神经网络可以抽象为按层(layer)传播的单向链条，相邻层节点之间通过可微实函数连接。

显然这里我们省略了大量关于网络拓扑结构的严格定义和证明，但鉴于这只是一篇笔记就不写那么啰嗦了，熟悉基本神经网络概念的读者肯定知道上述命题想表达什么。

关于如何进行层结构的抽象，补充几点说明：

• 可根据需要进行必要的合并。因为我们关心的是如何更新模型参数，所以可将一些常见计算节点进行合并，比如全连接层和激活函数，这并不影响之后的讨论。
• 对于一些复杂结构，由有向无环的前提，可通过 BFS 之类算法得到满足前后依赖的偏序关系，进而抽象出需要的层结构。
• 如果有跨层使用的情况，比如 $L+1$ 层的计算同时使用了 $L$ 层和 $L-1$ 层的节点，那么可以修改 $L$ 层的计算函数，将 $L-1$ 层需要用到的节点利用单位函数「复制」一份到 $L$ 层即可。因此后续讨论中，我们假定数据和计算依赖只存在于相邻层之间。

1.2 符号定义

我们这里使用最常见的随机梯度下降(SGD)来说明如何更新参数。设单次训练的样本对为 $(x,y)$，整体网络共有 $L+1$ 层，每一层的数据记作 $a^{(l)},l=0,1,\dots ,L$；第 0 层为输入，即 $a^0=x$，最后一层输出为模型预测值，即 $a^L=\hat{y}$。层与层之间的计算函数设为 $f^{(l)}$，对应模型参数为 ${\theta }^{(l)}$。为方便讨论，在 $L$ 层后，我们添加损失函数计算，$J=J(a^{(L)},y)$¹。于是，我们得到如下前向传播计算公式：

$$\begin{array}{rl}{a}^{(l)}& =f^{(l)}(a^{(l-1)},{\theta }^{(l)}),l=1,\dots ,L\\ J& =J(a^{(L)},y)\end{array}$$

需要仔细留意各层维度，设第 $l$ 层数据维数为 $n_l$，参数维度为 $m_l$，即 $a^{(l)}\in {\mathbb{R}}^{n_l},{\theta }^{(l)}\in {\mathbb{R}}^{m_l}$，自然的 $x\in {\mathbb{R}}^{n_0},y\in {\mathbb{R}}^{n_L}$，对于损失函数则有 $J\in \mathbb{R}$。于是得到：

$$\begin{array}{rl}{f}^{(l)}& :{\mathbb{R}}^{n_{l-1}+m_l}\to {\mathbb{R}}^{n_l}\\ J& :{\mathbb{R}}^{2n_L}\to \mathbb{R}\end{array}$$

2.1 连接函数的 Jacobian 矩阵

由上述形式化定义，我们可以看到整个模型的参数全体是 $$\{{\theta }^{(l)}:l=1,\dots ,L\}$$，而 SGD 的任务就是根据每步的训练数据，更新对应参数：

$${\theta }^{(l)}:={\theta }^{(l)}-\lambda \frac{\partial J}{\partial {\theta }^{(l)}}$$

为方便讨论，我们首先引入若干记号。

由 $f^{(l)}(a^{(l-1)},{\theta }^{(l)})$ 可微，可分别计算其关于本层参数 ${\theta }^{(l)}$ 与上一层输入数据 $a^{(l-1)}$ 的偏导（实际是 Jacobian 矩阵）：

$$\begin{array}{rl}{P}^{(l)}& :=\frac{\partial f^{(l)}}{\partial {\theta }^{(l)}}={\left(\frac{\partial f_i^{(l)}}{\partial {\theta }_j^{(l)}}\right)}_{n_l\times m_l},i=1,\dots ,n_l,j=1,\dots ,m_l\\ Q^{(l)}& :=\frac{\partial f^{(l)}}{\partial a^{(l-1)}}={\left(\frac{\partial f_i^{(l)}}{\partial a_j^{(l-1)}}\right)}_{n_l\times n_{l-1}},i=1,\dots ,n_l,j=1,\dots ,n_{l-1}\end{array}$$

我们很快就会看到上述两个矩阵在反向传播中的核心作用。再次强调，$P^{(l)}$ 和 $Q^{(l)}$ 分别是 $f^{(l)}$ 关于 ${\theta }^{(l)}$ 和 $a^{(l-1)}$ 的 Jacobian 矩阵，尺寸分别为 $n_l\times m_l$ 和 $n_l\times n_{l-1}$。

2.2 链式法则

我们按照从后向前的顺序更新所有模型参数 ${\theta }^{(l)}$。

最后第 $L$ 层：

$$\frac{\partial J}{\partial {\theta }^{(L)}}=\frac{\partial J}{\partial a^{(L)}}\cdot \frac{\partial a^{(L)}}{\partial {\theta }^{(L)}}$$

其中，由于 $J=J(a^{(L)},y)$ 形式已知，可以直接计算第一部分偏导，为方便，记

$$\delta =\frac{\partial J}{\partial a^{(L)}}\in {\mathbb{R}}^{1\times n_L}$$

第二部分偏导则是上面已经计算过的 Jacobian 矩阵：

$$\frac{\partial a^{(L)}}{\partial {\theta }^{(L)}}=\frac{\partial f^{(L)}}{\partial {\theta }^{(L)}}=P^{(L)}\in {\mathbb{R}}^{n_L\times m_L}$$

所以得到最后一层梯度更新结果为：

$$\frac{\partial J}{\partial {\theta }^{(L)}}=\delta P^{(L)}\in {\mathbb{R}}^{1\times m_L}$$

中间层：

对于 ${\theta }^{(l)}$ 而言，它只有通过其后各层的输出才能影响最后的 $J$，因此简单利用链式法则，得到

$$\begin{array}{rl}\frac{\partial J}{\partial {\theta }^{(l)}}& =\frac{\partial J}{\partial a^{(L)}}\cdot \frac{\partial a^{(L)}}{\partial a^{(L-1)}}\cdots \frac{\partial a^{(l+1)}}{\partial a^{(l)}}\cdot \frac{\partial a^{(l)}}{\partial {\theta }^{(l)}}\\ & =\delta \cdot \frac{\partial f^{(L)}}{\partial a^{(L-1)}}\cdots \frac{\partial f^{(l+1)}}{\partial a^{(l)}}\cdot \frac{\partial f^{(l)}}{\partial {\theta }^{(l)}}\\ & =\delta Q^{(L)}{Q}^{(L-1)}\cdots Q^{(l+1)}{P}^{(l)}\end{array}$$

类似的，我们可以验证上式最后矩阵相乘的各项维数，中间各个 $Q^{(l)}$ 前后相接，维数依次「抵消」的过程会让人对所谓反向传播有新的体会。

2.3 小结前向后向传播算法

所以，现在我们可以从一个更宏观的层面来理解神经网络的前向与后向传播了。

核心就是 $f^{(l)}$ 及其关于 parameter 与 input 的两个 Jacobian 矩阵 $P^{(l)},Q^{(l)}$。前向传播时，由 $a^{(l-1)}$ 和 ${\theta }^l$ 经由 $f^{(l)}$ 得到 $a^{(l)}$；后向传播时，注意到 $a^{(L)}$ 事实上就是预测值 $\hat{y}$，所以是从误差 $J$ 关于 $\hat{y}$ 的偏导 $\delta$ 出发，从后向前，逐步经过 Jacobian 矩阵相乘得到梯度。