斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型

一、课程背景与核心目标

斯坦福大学NLP课程第6讲聚焦于循环神经网络（RNN）与语言模型的结合，旨在解决传统前馈神经网络在处理序列数据（如文本、语音）时的局限性。传统模型无法捕捉序列中的时序依赖关系，而RNN通过引入“循环”结构，能够动态记忆历史信息，成为自然语言处理（NLP）领域的基石技术。本讲的核心目标包括：

1. 理解RNN的数学原理与训练机制；
2. 掌握RNN在语言建模中的具体应用；
3. 分析RNN的变体（如LSTM、GRU）如何解决梯度消失问题；
4. 通过实践案例理解RNN的落地挑战与优化策略。

二、循环神经网络（RNN）的原理与挑战

1. RNN的基本结构与数学表达

RNN的核心思想是通过隐藏状态（hidden state）传递序列信息。对于输入序列 ( X = (x1, x_2, …, x_T) )，RNN在每个时间步 ( t ) 的计算如下：
[
h_t = \sigma(W{hh} h{t-1} + W{xh} xt + b_h)
]
[
y_t = \text{softmax}(W{hy} ht + b_y)
]
其中，( h_t ) 为隐藏状态，( y_t ) 为输出概率分布，( \sigma ) 为激活函数（如tanh）。通过共享参数 ( W{hh}, W{xh}, W{hy} )，RNN大幅减少了参数量，同时保留了时序依赖性。

2. 训练RNN的挑战：梯度消失与梯度爆炸

RNN的训练依赖反向传播算法（BPTT），但长序列训练时，梯度可能因连乘效应而指数级衰减（梯度消失）或增长（梯度爆炸）。例如，在语言模型中，若需预测“The cat, which was sitting on the mat, …”的下一个词，早期信息（如“cat”）的梯度可能无法有效传递到后续时间步。

解决方案：

• 梯度裁剪（Gradient Clipping）：限制梯度范数，防止爆炸；
• 门控机制（Gating）：引入LSTM（长短期记忆网络）和GRU（门控循环单元），通过可学习的门控信号控制信息流动。

三、语言模型：从RNN到现代架构

1. 基于RNN的语言模型

语言模型的目标是计算序列 ( P(x1, x_2, …, x_T) )，RNN通过链式法则分解条件概率：
[
P(x_1, …, x_T) = \prod{t=1}^T P(xt | x_1, …, x{t-1})
]
在训练阶段，RNN接收真实历史作为输入（teacher forcing）；在推理阶段，则采用自回归生成（autoregressive generation）。

实践案例：
假设训练数据为“I love NLP”，RNN在时间步 ( t=3 ) 时，输入 ( x_3=\text{“love”} )，隐藏状态 ( h_2 ) 包含“I”的信息，输出预测下一个词的概率分布。

2. RNN的变体：LSTM与GRU

• LSTM：通过输入门、遗忘门、输出门控制信息保留与丢弃，公式如下：
  [
  ft = \sigma(W_f [h{t-1}, xt] + b_f) \quad \text{(遗忘门)}
  ]
  [
  i_t = \sigma(W_i [h{t-1}, xt] + b_i) \quad \text{(输入门)}
  ]
  [
  \tilde{C}_t = \tanh(W_C [h{t-1}, xt] + b_C) \quad \text{(候选记忆)}
  ]
  [
  C_t = f_t \odot C{t-1} + i_t \odot \tilde{C}_t \quad \text{(细胞状态更新)}
  ]
  LSTM有效缓解了梯度消失问题，但参数量较大。

• GRU：简化LSTM，合并细胞状态与隐藏状态，仅用更新门和重置门：
  [
  zt = \sigma(W_z [h{t-1}, xt] + b_z) \quad \text{(更新门)}
  ]
  [
  r_t = \sigma(W_r [h{t-1}, xt] + b_r) \quad \text{(重置门)}
  ]
  [
  \tilde{h}_t = \tanh(W_h [r_t \odot h{t-1}, xt] + b_h)
  ]
  [
  h_t = (1 - z_t) \odot h{t-1} + z_t \odot \tilde{h}_t
  ]
  GRU参数量更少，训练速度更快。

四、实践中的挑战与优化策略

1. 长序列训练问题

即使使用LSTM/GRU，超长序列（如段落级文本）仍可能导致记忆衰退。解决方案包括：

• 截断反向传播（Truncated BPTT）：将序列分割为子段，定期重置隐藏状态；
• 注意力机制（Attention）：引入Transformer架构，通过自注意力直接建模全局依赖（后续课程将详细讲解）。

2. 计算效率与并行化

RNN的时序依赖性限制了并行计算。优化策略：

• CUDA优化：使用cuDNN库加速RNN层；
• 混合精度训练：结合FP16与FP32减少内存占用；
• 模型压缩：量化、剪枝降低计算量。

3. 实际应用建议

• 数据预处理：统一文本长度（填充或截断），构建词汇表；
• 超参数调优：学习率、隐藏层维度、批次大小对模型性能影响显著；
• 评估指标：使用困惑度（Perplexity）或BLEU分数（生成任务）量化模型质量。

五、课程总结与延伸思考

本讲系统梳理了RNN在语言模型中的应用，从基础结构到变体优化，再到实践挑战，为开发者提供了完整的理论-代码-部署链路。延伸思考：

1. RNN与Transformer的对比：在哪些场景下RNN仍具有优势？
2. 预训练语言模型（如BERT、GPT）如何融合RNN的时序建模能力？
3. 如何结合RNN与知识图谱，提升语言模型的逻辑推理能力？

通过本讲的学习，开发者不仅能够掌握RNN的核心技术，更能理解其在NLP任务中的定位与演进方向，为后续学习更复杂的架构（如Transformer、扩散模型）奠定基础。