深度解析：斯坦福NLP第6讲——循环神经网络与语言模型实践

一、课程定位与核心目标

斯坦福大学NLP课程第6讲聚焦循环神经网络（RNN）与语言模型的深度融合，旨在解决传统神经网络在处理序列数据（如文本、语音）时的局限性。课程通过理论推导、代码实现与案例分析，揭示RNN如何通过“记忆机制”捕捉序列中的长期依赖关系，并构建能够预测下一个单词的概率模型。

1.1 传统神经网络的局限

传统前馈神经网络（FNN）假设输入数据独立同分布，但自然语言中的单词顺序蕴含语法与语义信息。例如，句子“The cat __”中，“sat”比“flew”更合理，而FNN无法直接建模这种时序依赖。

1.2 RNN的核心突破

RNN通过引入隐藏状态（Hidden State）实现信息传递：每个时间步的输出不仅依赖当前输入，还依赖上一时刻的隐藏状态。数学表达式为：
[ ht = \sigma(W{hh}h{t-1} + W{xh}xt + b_h) ]
[ y_t = \text{softmax}(W{hy}h_t + b_y) ]
其中，( h_t )为隐藏状态，( \sigma )为激活函数（如tanh），( W )为权重矩阵，( b )为偏置项。

二、RNN的语言模型实现

语言模型的目标是计算句子概率 ( P(w1, w_2, …, w_n) )，通过链式法则分解为条件概率的乘积：
[ P(w_1, …, w_n) = \prod{t=1}^n P(wt | w{<t}) ]
RNN通过逐个处理单词并更新隐藏状态，实现条件概率的动态计算。

2.1 训练流程详解

1. 数据预处理：将文本转换为词索引序列（如“The cat sat”→[1, 2, 3]），并构建词汇表。
2. 前向传播：
   • 初始化隐藏状态 ( h_0 )（通常为零向量）。
   • 对每个时间步 ( t )，计算 ( h_t ) 和输出概率分布 ( y_t )。
3. 损失计算：使用交叉熵损失函数，比较预测分布与真实标签的差异：
   [ \mathcal{L} = -\sum{t=1}^n \log P(w_t | w{<t}) ]
4. 反向传播：通过时间反向传播（BPTT）计算梯度，更新权重参数。

2.2 代码实现示例（PyTorch）

import torch
import torch.nn as nn
class RNNLanguageModel(nn.Module):
    def __init__(self, vocab_size, embed_size, hidden_size):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_size)
        self.rnn = nn.RNN(embed_size, hidden_size, batch_first=True)
        self.fc = nn.Linear(hidden_size, vocab_size)
    def forward(self, x, h0):
        # x: (batch_size, seq_len)
        emb = self.embedding(x)  # (batch_size, seq_len, embed_size)
        out, hn = self.rnn(emb, h0)  # out: (batch_size, seq_len, hidden_size)
        logits = self.fc(out)  # (batch_size, seq_len, vocab_size)
        return logits, hn
# 初始化模型
vocab_size = 10000
embed_size = 300
hidden_size = 512
model = RNNLanguageModel(vocab_size, embed_size, hidden_size)
# 模拟输入
batch_size = 32
seq_len = 10
x = torch.randint(0, vocab_size, (batch_size, seq_len))
h0 = torch.zeros(1, batch_size, hidden_size)
# 前向传播
logits, _ = model(x, h0)

三、RNN的变体与优化

3.1 长短期记忆网络（LSTM）

RNN存在梯度消失/爆炸问题，导致难以捕捉长距离依赖。LSTM通过引入输入门、遗忘门、输出门控制信息流，公式如下：
[ ft = \sigma(W_f \cdot [h{t-1}, xt] + b_f) ]
[ i_t = \sigma(W_i \cdot [h{t-1}, xt] + b_i) ]
[ \tilde{C}_t = \tanh(W_C \cdot [h{t-1}, xt] + b_C) ]
[ C_t = f_t \odot C{t-1} + it \odot \tilde{C}_t ]
[ o_t = \sigma(W_o \cdot [h{t-1}, x_t] + b_o) ]
[ h_t = o_t \odot \tanh(C_t) ]
其中，( \odot )为逐元素乘法，( C_t )为细胞状态。

3.2 门控循环单元（GRU）

GRU是LSTM的简化版，合并细胞状态与隐藏状态，仅保留重置门和更新门：
[ zt = \sigma(W_z \cdot [h{t-1}, xt] + b_z) ]
[ r_t = \sigma(W_r \cdot [h{t-1}, xt] + b_r) ]
[ \tilde{h}_t = \tanh(W_h \cdot [r_t \odot h{t-1}, xt] + b_h) ]
[ h_t = (1 - z_t) \odot h{t-1} + z_t \odot \tilde{h}_t ]

3.3 双向RNN（BiRNN）

单向RNN只能利用历史信息，BiRNN通过拼接前向和后向隐藏状态，同时捕捉上下文信息：
[ h_t = [\overrightarrow{h}_t; \overleftarrow{h}_t] ]
其中，( \overrightarrow{h}_t )为前向RNN的隐藏状态，( \overleftarrow{h}_t )为后向RNN的隐藏状态。

四、实践建议与挑战

4.1 梯度问题处理

• 梯度裁剪：限制梯度范数，防止爆炸。

  torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)

• 权重初始化：使用Xavier初始化或正交初始化稳定训练。

4.2 超参数调优

• 隐藏层大小：通常设为256-1024，需平衡表达能力与计算成本。
• 学习率调度：采用余弦退火或预热策略提升收敛性。

4.3 评估指标

• 困惑度（Perplexity）：衡量模型对测试集的预测不确定性，值越低越好。
  [ \text{PP}(W) = \exp\left(-\frac{1}{N}\sum{i=1}^N \log P(w_i | w{<i})\right) ]

五、课程总结与延伸

本讲通过理论推导与代码实现，系统阐述了RNN在语言模型中的应用。关键收获包括：

1. RNN通过隐藏状态实现时序依赖建模。
2. LSTM/GRU通过门控机制解决长距离依赖问题。
3. 双向RNN可提升上下文理解能力。

延伸学习建议：

• 阅读《Speech and Language Processing》第9章，深化RNN数学原理。
• 实践项目：基于维基百科数据训练RNN语言模型，生成连贯文本。
• 进阶方向：探索Transformer架构如何替代RNN成为主流。

通过本讲学习，开发者可掌握RNN的核心技术，并为后续学习注意力机制与预训练模型奠定基础。