NLP教程(5) - 语言模型、RNN、GRU与LSTM

一、语言模型基础

1.1 定义与核心任务

语言模型（Language Model, LM）是自然语言处理的核心组件，其核心任务是计算给定词序列的概率分布。数学上表示为：
[ P(w1,w_2,…,w_n) = \prod{t=1}^n P(wt|w{<t}) ]
其中( w_{<t} )表示前( t-1 )个词。这种条件概率建模使得语言模型能够预测下一个词的概率分布，在机器翻译、语音识别、文本生成等任务中具有基础性作用。

1.2 评估指标

• 困惑度（Perplexity）：衡量模型预测能力的关键指标，定义为：
  [ PP(W) = \sqrt[N]{\prod{i=1}^N \frac{1}{P(w_i|w{<i})}} ]
  困惑度越低，模型性能越好。例如，GPT-3的困惑度可低至20以下，远超传统n-gram模型。

1.3 统计语言模型

• N-gram模型：通过马尔可夫假设简化计算，如bigram模型：
  [ P(wt|w{t-1}) = \frac{C(w{t-1},w_t)}{C(w{t-1})} ]
  优点是计算简单，但存在数据稀疏问题。可通过平滑技术（如Kneser-Ney平滑）缓解。

二、循环神经网络（RNN）

2.1 架构原理

RNN通过引入隐藏状态( ht )实现序列信息的记忆：
[ h_t = \sigma(W{hh}h{t-1} + W{xh}xt + b_h) ]
[ y_t = \text{softmax}(W{hy}h_t + b_y) ]
其中( \sigma )为tanh激活函数，参数矩阵( W )实现输入到隐藏层、隐藏层到隐藏层、隐藏层到输出的映射。

2.2 训练挑战

• 梯度消失/爆炸：反向传播时，梯度通过时间步( t )的连乘导致指数级衰减或增长。例如，在长度为100的序列中，梯度可能缩小至( 10^{-60} )量级。
• 解决方案：梯度裁剪（clip gradients）和参数初始化优化（如Xavier初始化）可部分缓解问题。

2.3 代码实现（PyTorch示例）

import torch
import torch.nn as nn
class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
        self.i2o = nn.Linear(input_size + hidden_size, output_size)
        self.softmax = nn.LogSoftmax(dim=1)
    def forward(self, input, hidden):
        combined = torch.cat((input, hidden), 1)
        hidden = self.i2h(combined)
        output = self.i2o(combined)
        output = self.softmax(output)
        return output, hidden
    def initHidden(self):
        return torch.zeros(1, self.hidden_size)

三、门控循环单元（GRU）

3.1 架构创新

GRU通过引入重置门（Reset Gate）和更新门（Update Gate）解决RNN的长期依赖问题：
[ rt = \sigma(W_r \cdot [h{t-1}, xt]) ]
[ z_t = \sigma(W_z \cdot [h{t-1}, xt]) ]
[ \tilde{h}_t = \tanh(W \cdot [r_t * h{t-1}, xt]) ]
[ h_t = (1 - z_t) * h{t-1} + z_t * \tilde{h}_t ]
其中( r_t )控制历史信息的保留程度，( z_t )决定新信息的融合比例。

3.2 优势分析

• 参数效率：比LSTM少1/3参数（无单独的记忆单元）。
• 训练速度：在CNN/DailyMail数据集上，GRU的训练时间比LSTM快约15%。
• 性能表现：在Penn Treebank数据集上，GRU的困惑度仅比LSTM高0.2，但推理速度提升20%。

四、长短期记忆网络（LSTM）

4.1 核心机制

LSTM通过三个门控结构实现精细控制：

1. 遗忘门（Forget Gate）：
   [ ft = \sigma(W_f \cdot [h{t-1}, x_t]) ]
2. 输入门（Input Gate）：
   [ it = \sigma(W_i \cdot [h{t-1}, xt]) ]
   [ \tilde{C}_t = \tanh(W_C \cdot [h{t-1}, x_t]) ]
3. 输出门（Output Gate）：
   [ ot = \sigma(W_o \cdot [h{t-1}, xt]) ]
   记忆单元更新：
   [ C_t = f_t * C{t-1} + i_t \tilde{C}_t ]
   [ h_t = o_t \tanh(C_t) ]

4.2 变体改进

• Peephole连接：允许门控单元查看记忆单元状态。
• 双向LSTM：结合前向和后向隐藏状态，在NER任务中F1值提升3-5%。
• 深度LSTM：堆叠多层LSTM，在WMT’14英德翻译任务中BLEU得分提高1.2。

4.3 实际应用建议

1. 超参数调优：

   • 隐藏层维度：通常设为256-1024
   • 学习率：初始设为0.001，采用动态衰减
   • 批次大小：根据GPU内存选择，建议64-256

2. 正则化策略：

   • Dropout率：0.2-0.5（应用于非循环连接）
   • 权重衰减：( 10^{-5} )量级

3. 初始化技巧：

   • 遗忘门偏置初始化为1（促进记忆保留）
   • 使用正交初始化提高训练稳定性

五、模型选择指南

模型	参数数量	训练速度	长期依赖能力	适用场景
RNN	低	快	弱	短序列预测（<50步）
GRU	中	较快	中	中等长度序列（50-200步）
LSTM	高	慢	强	长序列建模（>200步）

实践建议：

1. 资源受限时优先选择GRU
2. 需要建模超长依赖（如文档摘要）时使用LSTM
3. 最新研究显示，Transformer在多数场景已超越RNN系列，但在嵌入式设备等计算受限场景，RNN/GRU/LSTM仍有应用价值

六、前沿发展方向

1. 混合架构：如LSTM+Attention机制，在机器翻译中BLEU得分提升2.3
2. 高效变体：如QRNN（Quasi-Recurrent Network），推理速度比LSTM快3倍
3. 量化技术：8位量化可使LSTM模型体积缩小4倍，精度损失<1%

本教程系统梳理了语言模型的核心原理与三种主流循环神经网络架构，通过数学推导、代码实现和性能对比，为读者提供了从理论到实践的完整知识体系。在实际应用中，建议根据任务需求、数据规模和计算资源综合选择模型，并持续关注领域内的最新研究成果。