斯坦福NLP课程 | 第6讲：循环神经网络与语言模型深度解析

一、课程背景与核心目标

斯坦福大学NLP课程第6讲聚焦于循环神经网络（RNN）及其在语言模型中的应用，旨在解决传统前馈神经网络无法处理序列数据的局限性。课程通过理论推导、案例分析和代码实现，系统讲解RNN的架构设计、训练方法及语言模型的构建逻辑，为开发者提供从基础到进阶的完整知识体系。

1.1 序列数据的挑战

自然语言处理（NLP）的核心任务之一是处理序列数据（如文本、语音），其特点包括：

• 时序依赖性：当前输出依赖历史信息（如句子中的上下文）。
• 变长输入/输出：不同句子的长度可能不同。
• 长期依赖问题：传统神经网络难以捕捉远距离依赖关系。

1.2 RNN的提出背景

循环神经网络通过引入隐状态（Hidden State）实现信息的时序传递，解决了序列数据的建模难题。其核心思想是：每个时间步的输出不仅依赖当前输入，还依赖上一时刻的隐状态，从而形成“记忆”机制。

二、循环神经网络（RNN）的原理与实现

2.1 RNN的基本架构

RNN的数学表达式如下：

h_t = σ(W_hh * h_{t-1} + W_xh * x_t + b_h)
y_t = softmax(W_hy * h_t + b_y)

其中：

• h_t：当前时刻的隐状态（记忆单元）。
• x_t：当前时刻的输入（如单词向量）。
• W_hh、W_xh、W_hy：权重矩阵。
• σ：激活函数（如tanh）。
• y_t：当前时刻的输出（如下一个单词的概率分布）。

2.2 训练方法：BPTT（随时间反向传播）

RNN的训练通过随时间反向传播（BPTT）实现，其步骤包括：

1. 前向传播：计算每个时间步的隐状态和输出。
2. 损失计算：使用交叉熵损失函数衡量预测与真实标签的差异。
3. 反向传播：沿时间步展开计算梯度，更新权重。

挑战：BPTT需处理梯度消失/爆炸问题，尤其在长序列中。课程中通过梯度裁剪（Gradient Clipping）和LSTM/GRU等变体缓解此问题。

2.3 RNN的变体与改进

2.3.1 长短期记忆网络（LSTM）

LSTM通过引入输入门、遗忘门、输出门控制信息流，解决长期依赖问题。其核心公式如下：

f_t = σ(W_f * [h_{t-1}, x_t] + b_f)  # 遗忘门
i_t = σ(W_i * [h_{t-1}, x_t] + b_i)  # 输入门
o_t = σ(W_o * [h_{t-1}, x_t] + b_o)  # 输出门
c_t = f_t * c_{t-1} + i_t * tanh(W_c * [h_{t-1}, x_t] + b_c)  # 细胞状态更新
h_t = o_t * tanh(c_t)  # 隐状态更新

2.3.2 门控循环单元（GRU）

GRU是LSTM的简化版，合并了细胞状态和隐状态，仅保留重置门和更新门，计算效率更高。

三、语言模型的构建与应用

3.1 语言模型的定义

语言模型（Language Model, LM）用于计算一个句子或序列的概率，即：

P(w_1, w_2, ..., w_n) = Π P(w_t | w_{t-k}, ..., w_{t-1})

其中，k为上下文窗口大小。

3.2 基于RNN的语言模型

RNN语言模型通过以下步骤实现：

1. 输入表示：将单词映射为向量（如Word2Vec）。
2. 序列建模：使用RNN/LSTM/GRU捕捉上下文依赖。
3. 输出预测：通过softmax层预测下一个单词的概率分布。

代码示例（PyTorch实现）：

import torch
import torch.nn as nn
class RNNLM(nn.Module):
    def __init__(self, vocab_size, embed_size, hidden_size):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_size)
        self.rnn = nn.LSTM(embed_size, hidden_size)
        self.fc = nn.Linear(hidden_size, vocab_size)
    def forward(self, x, h):
        emb = self.embedding(x)  # (seq_len, batch_size, embed_size)
        out, h = self.rnn(emb, h)  # out: (seq_len, batch_size, hidden_size)
        out = self.fc(out)  # (seq_len, batch_size, vocab_size)
        return out, h

3.3 语言模型的评价指标

• 困惑度（Perplexity, PPL）：衡量模型对测试数据的预测不确定性，值越低越好。

  PPL = exp(-(1/N) * Σ log P(w_t | context))

• BLEU分数：用于评估生成文本的质量（如机器翻译）。

四、实践建议与优化方向

4.1 超参数调优

• 隐状态维度：通常设为128-512，需平衡表达能力与计算成本。
• 学习率：初始值设为0.001，使用学习率衰减策略。
• 批次大小：根据GPU内存选择（如32-128）。

4.2 常见问题与解决方案

• 梯度爆炸：使用梯度裁剪（torch.nn.utils.clip_grad_norm_）。
• 过拟合：引入Dropout层或L2正则化。
• 长序列处理：采用Truncated BPTT或注意力机制。

4.3 扩展应用场景

• 机器翻译：结合编码器-解码器架构（如Seq2Seq）。
• 文本生成：使用采样策略（如Top-k采样）控制生成多样性。
• 语音识别：结合CTC损失函数处理时序对齐问题。

五、课程总结与未来展望

斯坦福NLP第6讲通过系统讲解RNN的原理、语言模型的构建方法及实践技巧，为开发者提供了处理序列数据的完整工具链。未来研究方向包括：

1. Transformer架构：替代RNN的更高效模型（如BERT、GPT）。
2. 低资源场景优化：通过迁移学习减少对标注数据的依赖。
3. 多模态融合：结合视觉、语音信息提升模型泛化能力。

学习建议：

• 动手实现一个简单的RNN语言模型，观察梯度变化。
• 阅读经典论文（如《Sequence to Sequence Learning with Neural Networks》）。
• 参与开源项目（如Hugging Face Transformers库）。

通过本讲的学习，开发者可深入理解序列数据的建模逻辑，为后续研究NLP高级任务（如问答系统、对话生成）奠定坚实基础。