斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图

一、计算图：神经网络建模的基石

计算图（Computational Graph）通过节点和有向边将数学运算可视化，每个节点代表一个变量或运算，边表示数据流动方向。例如，对于函数 $f(x,y) = x^2 + y \cdot \sin(x)$，其计算图可拆解为：

1. 输入节点：$x$ 和 $y$
2. 中间节点：
   • $x^2$（平方运算）
   • $\sin(x)$（正弦运算）
   • $y \cdot \sin(x)$（乘法运算）
3. 输出节点：$x^2 + y \cdot \sin(x)$（加法运算）

动态计算图的优势：以PyTorch为例，其动态图机制允许在运行时构建计算图，支持即时梯度计算。例如：

import torch
x = torch.tensor(2.0, requires_grad=True)
y = torch.tensor(3.0, requires_grad=True)
z = x**2 + y * torch.sin(x)
z.backward()  # 自动计算梯度
print(x.grad, y.grad)  # 输出∂z/∂x和∂z/∂y

此代码展示了如何通过动态图追踪梯度，无需手动推导公式。

二、反向传播算法：链式法则的工程实现

反向传播的核心是链式法则，用于计算复合函数的梯度。假设损失函数 $L$ 依赖于中间变量 $z$，而 $z$ 由 $w$ 计算得到（如 $z = w \cdot a + b$），则梯度传递满足：
$<br>\frac{\partial L}{\partial w} = \frac{\partial L}{\partial z} \cdot \frac{\partial z}{\partial w}<br>$

1. 梯度计算示例

考虑一个两层神经网络：

• 输入层：$x \in \mathbb{R}^2$
• 隐藏层：$h = \sigma(W_1 x + b_1)$，其中 $\sigma$ 为Sigmoid函数
• 输出层：$y = W_2 h + b_2$
• 损失函数：$L = \frac{1}{2}(y - t)^2$（均方误差）

反向传播步骤：

1. 输出层梯度：
   $$
   \frac{\partial L}{\partial y} = y - t
   $$
2. 隐藏层到输出层的权重梯度：
   $$
   \frac{\partial L}{\partial W_2} = \frac{\partial L}{\partial y} \cdot h^T
   $$
3. 隐藏层梯度：
   $$
   \frac{\partial L}{\partial h} = W_2^T \cdot \frac{\partial L}{\partial y} \cdot \sigma’(W_1 x + b_1)
   $$
   其中 $\sigma’(z) = \sigma(z)(1 - \sigma(z))$。
4. 输入层到隐藏层的权重梯度：
   $$
   \frac{\partial L}{\partial W_1} = \frac{\partial L}{\partial h} \cdot x^T
   $$

2. 梯度消失与爆炸问题

• 梯度消失：在深层网络中，若激活函数导数较小（如Sigmoid），连续相乘会导致梯度趋近于0。解决方案包括使用ReLU激活函数和残差连接。
• 梯度爆炸：若权重初始值过大或导数较大（如双曲正切），梯度可能指数级增长。可通过梯度裁剪（Gradient Clipping）限制梯度范围。

三、PyTorch中的自动微分机制

PyTorch的autograd引擎通过动态计算图实现自动微分，关键组件包括：

1. requires_grad=True：标记需要计算梯度的张量。
2. backward()方法：触发反向传播，计算梯度并存储在grad属性中。
3. 梯度清零：每次迭代前需调用zero_grad()，避免梯度累加。

代码示例：线性回归训练

import torch
import torch.nn as nn
# 生成数据
X = torch.randn(100, 1)
y = 2 * X + 1 + 0.1 * torch.randn(100, 1)
# 定义模型
model = nn.Linear(1, 1)  # y = Wx + b
criterion = nn.MSELoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
# 训练循环
for epoch in range(100):
    optimizer.zero_grad()
    outputs = model(X)
    loss = criterion(outputs, y)
    loss.backward()
    optimizer.step()
print(model.weight, model.bias)  # 应接近W=2, b=1

此代码展示了如何通过自动微分优化线性回归参数，无需手动推导梯度。

四、实践建议与优化技巧

1. 梯度检查：使用数值微分验证反向传播的正确性。例如，对于参数$w$，计算：
   $<br>\frac{\partial L}{\partial w} \approx \frac{L(w + \epsilon) - L(w - \epsilon)}{2\epsilon}<br>$
   其中$\epsilon$为极小值（如$10^{-6}$）。

2. 学习率调整：采用动态学习率策略（如Adam优化器），结合torch.optim.lr_scheduler实现学习率衰减。

3. 批量归一化：在隐藏层后添加nn.BatchNorm1d，稳定梯度分布，加速收敛。

4. 可视化工具：使用TensorBoard或Matplotlib监控梯度变化，诊断训练问题。

五、总结与展望

本讲深入探讨了计算图与反向传播的数学基础和工程实现，通过PyTorch案例展示了自动微分的强大能力。后续课程将进一步讨论：

• 复杂架构（如RNN、Transformer）的梯度流动
• 分布式训练中的梯度同步策略
• 模型压缩与量化对梯度计算的影响

掌握反向传播与计算图机制是构建高效神经网络的关键，建议读者结合代码实践加深理解，并关注梯度相关的优化技巧。