斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图

引言：为何反向传播是神经网络的核心？

神经网络通过多层非线性变换实现复杂模式识别，但其训练过程依赖反向传播算法（Backpropagation）高效计算梯度。本讲从计算图（Computational Graph）的视角出发，揭示反向传播的数学本质与工程实现，为后续课程（如Transformer、BERT）奠定基础。

一、计算图：符号化表达神经网络

1.1 计算图的定义与作用

计算图是将计算过程分解为节点（操作）和边（数据流）的有向图。例如，单神经元的前向传播：
[ z = w^Tx + b, \quad a = \sigma(z) ]
可表示为：

x, w, b → [乘法] → [加法] → [sigmoid] → a

优势：

• 统一表示标量、向量、矩阵运算
• 显式追踪梯度传播路径
• 支持自动微分（Autograd）框架实现

1.2 动态计算图 vs 静态计算图

• 动态图（如PyTorch）：运行时构建，调试灵活，适合研究
• 静态图（如TensorFlow 1.x）：先定义后执行，优化高效，适合部署

实践建议：初学者从动态图入手，理解原理后再接触静态图优化。

二、反向传播的链式法则

2.1 梯度定义与链式法则

设损失函数 ( L ) 对输出 ( a ) 的梯度为 ( \frac{\partial L}{\partial a} )，则通过链式法则可逐层反向传播：
[ \frac{\partial L}{\partial z} = \frac{\partial L}{\partial a} \cdot \frac{\partial a}{\partial z} ]
[ \frac{\partial L}{\partial w} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial w} ]

关键点：

• 梯度是局部计算的，仅依赖当前节点的输入/输出
• 计算顺序与前向传播相反（从输出层到输入层）

2.2 示例：全连接层的梯度计算

考虑单层全连接层 ( z = Wx + b )，损失 ( L ) 对 ( W ) 的梯度：
[ \frac{\partial L}{\partial W} = \frac{\partial L}{\partial z} \cdot x^T ]
代码实现（PyTorch风格）：

import torch
def forward(x, W, b):
    z = torch.matmul(W, x) + b
    return z
def backward(dL_dz, x):
    dL_dW = torch.matmul(dL_dz, x.T)  # 梯度计算
    return dL_dW

三、反向传播的工程实现

3.1 梯度累积与参数更新

• 梯度累积：每次前向传播后计算梯度，但不立即更新参数（适用于小批量训练）
• 参数更新：累积足够梯度后，按优化器规则（如SGD、Adam）更新：
  [ \theta{t+1} = \theta_t - \eta \cdot \frac{1}{B}\sum{i=1}^B \nabla_{\theta} L_i ]
  其中 ( B ) 为批量大小，( \eta ) 为学习率。

3.2 数值稳定性问题

• 梯度消失：深层网络中，链式法则多次相乘导致梯度趋近于0（常见于sigmoid/tanh）
  • 解决方案：使用ReLU及其变体（LeakyReLU、GELU）
• 梯度爆炸：梯度数值过大导致更新步长失控
  • 解决方案：梯度裁剪（Gradient Clipping）、权重初始化（Xavier/He初始化）

实践建议：

• 监控梯度范数（torch.norm(grad)），若持续增大则需裁剪
• 初始化时根据激活函数选择合适方法（如He初始化适用于ReLU）

四、计算图优化技术

4.1 内存与计算权衡

• 内存复用：反向传播时需存储前向传播的中间结果（如ReLU的输入）
  • 优化：仅保留必要中间变量（如通过torch.no_grad()控制）
• 计算重用：合并重复操作（如批量矩阵乘法）

4.2 静态图优化案例（TensorFlow 2.x）

import tensorflow as tf
@tf.function  # 装饰器将Python函数转为静态图
def train_step(x, y, model, optimizer):
    with tf.GradientTape() as tape:
        pred = model(x)
        loss = tf.keras.losses.mse(y, pred)
    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))

优势：自动优化计算路径，减少运行时开销。

五、常见问题与调试技巧

5.1 梯度检查（Gradient Checking）

• 原理：比较数值梯度（有限差分法）与反向传播梯度
  [ \text{数值梯度} \approx \frac{f(x+h) - f(x-h)}{2h} ]
• 实现：

  def gradient_check(f, x, eps=1e-6):
    grad_bp = ...  # 反向传播计算的梯度
    grad_num = (f(x + eps) - f(x - eps)) / (2 * eps)
    assert torch.allclose(grad_bp, grad_num, atol=1e-4)

5.2 调试工具推荐

• PyTorch：torch.autograd.gradcheck
• TensorFlow：tf.debugging.check_numerics
• 通用：可视化计算图（Netron、TensorBoard）

六、扩展：自动微分框架设计

6.1 自动微分的两种模式

• 前向模式：从输入到输出计算梯度（适合输入维度低的场景）
• 反向模式：从输出到输入计算梯度（神经网络常用）

6.2 自定义算子的梯度注册

以PyTorch为例，注册新算子的梯度：

class MyFunc(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x):
        ctx.save_for_backward(x)
        return x ** 2
    @staticmethod
    def backward(ctx, grad_output):
        x, = ctx.saved_tensors
        return grad_output * 2 * x  # df/dx = 2x
# 使用
x = torch.tensor(3.0, requires_grad=True)
y = MyFunc.apply(x)
y.backward()
print(x.grad)  # 输出 6.0 (2*3)

总结与行动建议

1. 理解计算图：手动绘制简单网络的计算图，标注梯度流动路径。
2. 实现反向传播：从零实现一个单层全连接网络的训练循环（不依赖深度学习框架）。
3. 调试梯度：使用梯度检查验证自定义层的正确性。
4. 优化实践：在现有项目中应用梯度裁剪和权重初始化，观察训练稳定性变化。

通过本讲的学习，读者应能独立推导神经网络中任意层的梯度，并具备调试复杂模型训练问题的能力。下一讲将深入探讨注意力机制与Transformer架构。