斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型

一、课程背景与核心目标

斯坦福大学NLP课程第13讲聚焦于自然语言处理（NLP）领域的革命性突破——基于上下文的表征（Contextualized Representation）与预训练模型（Pre-trained Models）。这一主题的提出源于传统词向量模型（如Word2Vec、GloVe）的局限性：静态词向量无法捕捉一词多义、句法依赖等上下文敏感特征。例如，”bank”在”river bank”和”bank loan”中语义完全不同，但传统模型会赋予其相同向量。

本讲的核心目标是通过动态上下文建模，解决以下问题：

1. 一词多义：根据上下文动态调整词义表征。
2. 长距离依赖：捕捉句子或段落中跨词、跨句的语义关联。
3. 迁移学习：通过大规模无监督预训练，提升模型在小样本任务上的性能。

二、上下文表征的技术演进

1. 从静态词向量到动态上下文模型

传统词向量模型通过共现统计学习词义，但存在两大缺陷：

• 上下文无关性：每个词对应唯一向量，无法区分语义差异。
• 数据稀疏性：低频词或领域特定词汇的表征质量差。

动态上下文模型通过引入上下文编码器（Context Encoder）解决这一问题。其核心思想是：词的表征应由其周围上下文动态生成。典型代表包括：

• ELMo（Embeddings from Language Models）：基于双向LSTM的语言模型，通过拼接前向和后向LSTM的隐藏状态生成上下文相关词向量。
• GPT系列：采用自回归（Autoregressive）架构，通过预测下一个词学习上下文表征。

2. Transformer架构的突破

Transformer的提出彻底改变了上下文建模的范式。其核心组件——自注意力机制（Self-Attention），允许模型直接捕捉输入序列中任意位置的关系，解决了RNN的序列依赖问题。

关键优势：

• 并行计算：摆脱RNN的时序依赖，提升训练效率。
• 长距离依赖：通过注意力权重直接建模跨词关联。
• 多头注意力：并行捕捉不同语义维度的关系。

例如，在句子”The cat sat on the mat because it was tired”中，自注意力机制可让”it”直接关联到”cat”，而非”mat”。

三、NLP预训练模型的设计与实践

1. 预训练任务的设计

预训练模型的核心是通过大规模无监督数据学习通用语言知识。常见任务包括：

• 掩码语言模型（MLM）：随机遮盖输入中的词，预测被遮盖的词（如BERT）。
• 因果语言模型（CLM）：根据前文预测下一个词（如GPT）。
• 排列语言模型（PLM）：通过排列输入序列的顺序，增强模型对上下文的理解（如XLNet）。

代码示例（PyTorch实现MLM任务）：

import torch
import torch.nn as nn
class MaskedLanguageModel(nn.Module):
    def __init__(self, vocab_size, hidden_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, hidden_dim)
        self.transformer = nn.TransformerEncoderLayer(d_model=hidden_dim, nhead=8)
        self.classifier = nn.Linear(hidden_dim, vocab_size)
    def forward(self, x, mask_pos):
        # x: 输入序列 [batch_size, seq_len]
        # mask_pos: 被遮盖的位置 [batch_size, num_masked]
        emb = self.embedding(x)  # [batch_size, seq_len, hidden_dim]
        output = self.transformer(emb)  # [batch_size, seq_len, hidden_dim]
        # 提取被遮盖位置的输出
        masked_output = []
        for i in range(len(mask_pos)):
            pos = mask_pos[i]
            masked_output.append(output[i, pos])
        masked_output = torch.stack(masked_output, dim=0)  # [sum(num_masked), hidden_dim]
        logits = self.classifier(masked_output)  # [sum(num_masked), vocab_size]
        return logits

2. 模型架构的演进

预训练模型的架构设计经历了从单向到双向、从浅层到深层的演进：

• BERT：基于Transformer的双向编码器，通过MLM和下一句预测任务预训练。
• GPT-3：1750亿参数的超大模型，通过少样本学习（Few-shot Learning）实现任务适应。
• T5：将所有NLP任务统一为”文本到文本”格式，提升模型泛化能力。

3. 迁移学习的实践策略

预训练模型的价值在于迁移学习：将在大规模数据上学习的知识迁移到下游任务。常见策略包括：

• 特征提取：固定预训练模型参数，仅训练顶层分类器。
• 微调（Fine-tuning）：调整预训练模型的所有参数以适应下游任务。
• 提示学习（Prompt Learning）：通过设计模板将下游任务转化为预训练任务的形式（如将分类任务转化为掩码预测）。

实践建议：

• 数据量小时优先选择提示学习或特征提取。
• 数据量充足时进行全参数微调。
• 使用学习率预热（Warmup）和梯度裁剪（Gradient Clipping）稳定训练。

四、挑战与未来方向

1. 当前挑战

• 计算资源需求：超大模型（如GPT-3）的训练成本高昂。
• 数据偏差：预训练数据中的社会偏差可能被模型放大。
• 长文本处理：Transformer的注意力机制对长序列的计算复杂度高。

2. 未来方向

• 高效架构：探索稀疏注意力、线性注意力等降低计算复杂度的方法。
• 多模态预训练：结合文本、图像、音频等多模态数据提升模型泛化能力。
• 可控生成：通过约束生成或后处理技术减少模型输出的有害内容。

五、总结与行动建议

本讲深入解析了基于上下文的表征与NLP预训练模型的核心技术，包括动态上下文建模、Transformer架构、预训练任务设计及迁移学习策略。对于开发者，建议从以下方面实践：

1. 从小规模模型入手：先尝试微调BERT-small或DistilBERT等轻量级模型。
2. 关注数据质量：预训练数据的质量直接影响模型性能。
3. 结合领域知识：在医疗、法律等垂直领域，通过继续预训练（Domain-adaptive Pre-training）提升模型适应性。

通过理解这些核心逻辑，开发者可以更高效地利用预训练模型解决实际NLP问题，推动技术落地。