斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型

一、课程核心目标：从静态到动态的语义理解革命

本讲聚焦NLP领域最具颠覆性的技术突破——基于上下文的表征（Contextualized Representations）与预训练模型（Pre-trained Models）。传统词向量（如Word2Vec、GloVe）通过静态映射将单词转换为固定向量，但无法区分”bank”在金融语境与河流语境中的语义差异。而上下文表征技术通过动态建模单词与周围文本的交互关系，实现了”一词多义”的精准捕捉，成为现代NLP系统的基石。

课程以ELMo、GPT、BERT三大里程碑模型为案例，揭示了从单向语言模型到双向Transformer架构的演进路径。数据显示，采用上下文表征的模型在GLUE基准测试中的平均得分从80.5提升至89.8，验证了技术变革的实效性。

二、技术原理深度拆解

1. 上下文表征的数学本质

上下文表征的核心在于构建动态映射函数 ( f(w, C) \rightarrow \mathbb{R}^d )，其中 ( w ) 为目标词，( C ) 为上下文窗口。以ELMo为例，其通过双向LSTM网络实现：

# 简化版ELMo前向LSTM实现（PyTorch风格）
class ForwardLSTM(nn.Module):
    def __init__(self, input_dim, hidden_dim):
        super().__init__()
        self.lstm = nn.LSTM(input_dim, hidden_dim, batch_first=True)
    def forward(self, x):
        # x: (batch_size, seq_len, input_dim)
        out, (h_n, c_n) = self.lstm(x)
        return out  # (batch_size, seq_len, hidden_dim)

ELMo创新性地采用两层BiLSTM结构，通过加权组合不同层的输出（底层捕捉语法信息，高层捕捉语义信息），生成更丰富的上下文表示。

2. 预训练模型的范式转移

预训练-微调（Pre-train then Fine-tune）模式彻底改变了NLP开发流程。以BERT为例，其预训练阶段包含两个核心任务：

• 掩码语言模型（MLM）：随机遮盖15%的token，通过上下文预测被遮盖词
• 下一句预测（NSP）：判断两个句子是否连续

# BERT掩码语言模型示例
def masked_lm(input_ids, token_type_ids, attention_mask):
    # 输入: (batch_size, seq_len)
    # 输出: (batch_size, seq_len, vocab_size)
    outputs = bert_model(
        input_ids=input_ids,
        token_type_ids=token_type_ids,
        attention_mask=attention_mask
    )
    return outputs.logits  # 预测每个位置的词分布

这种设计使模型在海量无监督数据上学习通用语言知识，微调阶段仅需少量标注数据即可适配特定任务。

三、实践应用与工程优化

1. 模型选择决策框架

开发者面临GPT（自回归）、BERT（自编码）、T5（编码器-解码器）等架构选择时，需综合考虑：
| 模型类型 | 适用场景 | 推理速度 | 生成能力 |
|————-|————-|————-|————-|
| GPT系列 | 文本生成、对话系统 | 快 | 强 |
| BERT系列 | 文本分类、信息抽取 | 中等 | 弱 |
| T5系列 | 序列到序列任务 | 慢 | 强 |

建议：对于资源受限场景，优先选择DistilBERT等蒸馏模型（体积减小40%，速度提升60%）；对于长文本处理，可采用Longformer等稀疏注意力架构。

2. 微调最佳实践

以文本分类任务为例，推荐三阶段微调策略：

1. 特征提取模式：冻结BERT主体，仅训练分类层（适用于小数据集）
2. 渐进解冻：从顶层开始逐层解冻参数（平衡训练效率与性能）
3. 对抗训练：引入FGM等对抗样本增强模型鲁棒性

# BERT微调示例（PyTorch）
from transformers import BertForSequenceClassification
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)
optimizer = AdamW(model.parameters(), lr=2e-5)
for epoch in range(3):
    for batch in dataloader:
        optimizer.zero_grad()
        outputs = model(**batch)
        loss = outputs.loss
        loss.backward()
        optimizer.step()

四、前沿挑战与解决方案

1. 长文本处理瓶颈

传统Transformer的 ( O(n^2) ) 复杂度限制了长文本处理能力。课程介绍了三种优化方案：

• 滑动窗口注意力：将文本分割为固定长度窗口
• 全局+局部注意力：保留关键token的全局交互
• 线性注意力机制：通过核函数近似计算注意力

2. 多模态预训练趋势

以ViLT模型为例，展示了如何将文本与图像表征对齐：

# ViLT多模态编码示例
class ViLT(nn.Module):
    def __init__(self, text_encoder, image_encoder):
        super().__init__()
        self.text_proj = nn.Linear(768, 512)  # BERT输出投影
        self.image_proj = nn.Linear(1024, 512)  # ResNet输出投影
    def forward(self, text_features, image_features):
        # 对齐文本与图像特征空间
        text_proj = self.text_proj(text_features)
        image_proj = self.image_proj(image_features)
        return text_proj + image_proj  # 简单相加实现模态融合

五、开发者行动指南

1. 模型选择矩阵：根据任务类型（分类/生成/序列标注）、数据规模（<1k/<10k>10k）、延迟要求（<100ms/<500ms）选择合适模型
2. 部署优化清单：
   • 使用ONNX Runtime加速推理
   • 采用量化技术（FP16/INT8）减少内存占用
   • 实施模型并行处理长文本
3. 持续学习路径：
   • 跟踪HuggingFace模型库更新
   • 参与Kaggle等平台的NLP竞赛实践
   • 阅读ACL、EMNLP等顶会论文

本讲揭示的上下文表征与预训练技术，正在重塑整个NLP技术栈。从学术研究到工业应用，开发者需要深刻理解这些技术的内在机理，才能在实际项目中做出最优决策。随着GPT-4、PaLM等超大模型的涌现，如何平衡模型规模与计算效率，将成为下一个关键技术突破点。