斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图

引言：反向传播与计算图的核心地位

在深度学习模型训练中，反向传播算法（Backpropagation）与计算图（Computational Graph）是连接前向计算与参数优化的桥梁。斯坦福NLP课程第4讲通过理论推导与案例分析，揭示了如何通过链式法则高效计算梯度，以及如何利用计算图分解复杂运算。本讲内容不仅为后续课程（如Transformer架构、注意力机制）奠定基础，更是理解现代NLP模型训练流程的关键。

一、计算图：从符号到梯度的可视化工具

1.1 计算图的定义与构建

计算图是一种有向无环图（DAG），用于表示数学运算的依赖关系。每个节点代表一个操作（如加法、矩阵乘法、激活函数），边代表数据流动方向。例如，对于简单线性变换 ( y = Wx + b )，其计算图可分解为：

• 输入节点：( x )、( W )、( b )
• 运算节点：矩阵乘法 ( Wx )、加法 ( +b )
• 输出节点：( y )

代码示例（PyTorch风格）：

import torch
x = torch.tensor([1.0], requires_grad=True)
W = torch.tensor([2.0], requires_grad=True)
b = torch.tensor([3.0], requires_grad=True)
y = W * x + b  # 构建计算图

1.2 计算图的动态性

现代框架（如PyTorch、TensorFlow）通过动态计算图支持即时梯度计算。当执行前向传播时，框架会自动记录运算顺序；反向传播时，根据记录的路径反向传播梯度。这种设计避免了静态图的冗余计算，提升了调试效率。

二、反向传播算法：链式法则的工程实现

2.1 链式法则的数学基础

反向传播的核心是链式法则（Chain Rule），用于计算复合函数的导数。对于多层神经网络，损失函数 ( L ) 对权重 ( W ) 的梯度可表示为：
[
\frac{\partial L}{\partial W} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial W}
]
其中 ( z ) 是当前层的输出。通过逐层反向传递梯度，可高效计算所有参数的更新量。

2.2 反向传播的步骤分解

以单层感知机为例，前向传播为 ( z = Wx + b )，激活后为 ( a = \sigma(z) )，损失函数为 ( L = \frac{1}{2}(y - a)^2 )。反向传播步骤如下：

1. 计算输出层梯度：
   [
   \frac{\partial L}{\partial a} = -(y - a)
   ]
2. 通过激活函数反向传播：
   [
   \frac{\partial L}{\partial z} = \frac{\partial L}{\partial a} \cdot \sigma’(z)
   ]
3. 计算权重梯度：
   [
   \frac{\partial L}{\partial W} = \frac{\partial L}{\partial z} \cdot x^T
   ]

代码示例（梯度计算）：

y_pred = torch.sigmoid(y)  # 激活函数
loss = 0.5 * (torch.tensor([0.0]) - y_pred)**2  # 损失函数
# 反向传播
loss.backward()
print(W.grad)  # 输出W的梯度

2.3 反向传播的工程优化

• 梯度累积：批量训练时，梯度是各样本梯度的平均值。
• 梯度裁剪：防止梯度爆炸（如RNN训练中）。
• 自动微分：框架通过requires_grad=True标记需要梯度的张量，自动构建计算图。

三、计算图在NLP任务中的应用

3.1 序列模型的梯度传播

在RNN或Transformer中，计算图需处理时间步或自注意力机制的依赖关系。例如，Transformer的多头注意力通过计算图分解为：

1. 查询、键、值的线性变换。
2. 缩放点积注意力。
3. 多头合并与输出投影。

反向传播时，梯度需通过所有时间步或注意力头反向传播，计算图的高度并行性在此体现。

3.2 梯度消失与梯度爆炸的应对

• 梯度消失：深层网络中，浅层梯度可能趋近于零。解决方案包括使用ReLU激活函数、残差连接（ResNet）。
• 梯度爆炸：RNN中长序列训练时梯度可能指数增长。解决方案包括梯度裁剪、Layer Normalization。

四、实践建议：从理论到代码的落地

4.1 调试反向传播的技巧

1. 梯度检查：手动计算小规模模型的梯度，与框架结果对比。
2. 可视化计算图：使用TensorBoard或PyTorch的torchviz库可视化计算图，定位梯度异常节点。
3. 分步验证：先验证单层网络的梯度，再逐步扩展到复杂模型。

4.2 性能优化策略

• 混合精度训练：使用FP16加速计算，同时保持FP32的梯度精度。
• 分布式反向传播：在多GPU/TPU环境下，通过数据并行或模型并行分割计算图。

五、常见误区与解答

误区1：反向传播需要显式存储所有中间结果

解答：动态计算图框架（如PyTorch）通过即时执行（Eager Execution）模式，仅在反向传播时按需计算梯度，无需存储全部中间结果。

误区2：计算图越大，反向传播越慢

解答：计算图的复杂度取决于操作数量而非图大小。通过优化操作（如融合卷积与批量归一化）可减少计算节点，提升效率。

六、总结与展望

本讲通过计算图与反向传播的深度解析，揭示了神经网络训练的核心机制。理解这一过程不仅有助于调试模型，更为优化训练策略（如学习率调整、正则化）提供了理论依据。后续课程将结合具体NLP任务（如机器翻译、文本分类），进一步探讨如何利用这些技术构建高效模型。

关键点回顾：

• 计算图是反向传播的数学抽象，动态计算图提升了灵活性。
• 链式法则是反向传播的数学基础，需注意梯度消失与爆炸问题。
• 实践中的调试技巧与优化策略是模型落地的关键。

通过系统学习本讲内容，读者可掌握从理论推导到代码实现的完整流程，为后续深入学习NLP模型打下坚实基础。