图解BERT、ELMo等 | NLP迁移学习开端

一、迁移学习：NLP的范式革命

在深度学习时代，NLP领域长期面临两大痛点：标注数据稀缺与模型泛化能力弱。传统方法需针对每个任务从头训练模型，而迁移学习的出现打破了这一困局——通过在大规模无标注数据上预训练通用语言表示，再微调到下游任务，显著降低了对标注数据的依赖。

1.1 预训练-微调范式的崛起

迁移学习的核心在于知识复用。以ELMo（2018）和BERT（2019）为代表的预训练模型，通过双向语言建模捕捉上下文语义，将语言知识编码为向量表示。这种表示可无缝迁移到文本分类、问答、命名实体识别等任务，形成”一次预训练，多处应用”的范式。

1.2 迁移学习的技术优势

• 数据效率：微调阶段仅需少量标注数据即可达到高性能。
• 模型泛化：预训练模型捕捉的通用语言模式提升了跨领域适应能力。
• 计算复用：避免重复训练底层网络，降低计算成本。

二、ELMo：双向语言模型的开山之作

ELMo（Embeddings from Language Models）由AllenNLP团队提出，首次将双向LSTM用于预训练语言表示。

2.1 架构解析

ELMo采用双层双向LSTM结构：

• 底层LSTM：捕捉局部语法信息（如词性、句法）。
• 高层LSTM：编码全局语义信息（如指代消解、逻辑关系）。

2.2 训练机制

• 前向+后向LSTM联合训练：分别建模从左到右和从右到左的上下文。
• 特征提取：对每个词输出两层隐藏状态的加权和，权重通过下游任务学习。

2.3 代码示例（PyTorch实现）

import torch
import torch.nn as nn
class ELMo(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.lstm_forward = nn.LSTM(embedding_dim, hidden_dim, bidirectional=False)
        self.lstm_backward = nn.LSTM(embedding_dim, hidden_dim, bidirectional=False)
    def forward(self, x):
        # x: (seq_len, batch_size)
        embedded = self.embedding(x)  # (seq_len, batch_size, embedding_dim)
        # 前向LSTM
        out_fwd, _ = self.lstm_forward(embedded)
        # 后向LSTM（需反转输入序列）
        out_bwd, _ = self.lstm_backward(torch.flip(embedded, [0]))
        out_bwd = torch.flip(out_bwd, [0])  # 恢复原始顺序
        # 拼接双向输出
        out = torch.cat([out_fwd, out_bwd], dim=-1)  # (seq_len, batch_size, 2*hidden_dim)
        return out

2.4 局限性

• 上下文捕捉不足：LSTM的序列处理方式难以建模长距离依赖。
• 并行性差：LSTM的时序依赖导致训练效率低下。

三、BERT：Transformer时代的革命

BERT（Bidirectional Encoder Representations from Transformers）由Google提出，通过Transformer架构和掩码语言模型（MLM）任务，实现了上下文表示的质的飞跃。

3.1 架构创新

BERT采用多层Transformer编码器：

• 自注意力机制：直接建模词间全局依赖，突破LSTM的序列限制。
• 多头注意力：并行捕捉不同子空间的语义特征。

3.2 预训练任务设计

• 掩码语言模型（MLM）：随机掩码15%的词，预测被掩码的词。

  # 伪代码：MLM任务实现
  def mask_tokens(inputs, tokenizer, mlm_probability=0.15):
      labels = inputs.clone()
      probability_matrix = torch.full(labels.shape, mlm_probability)
      masked_indices = torch.bernoulli(probability_matrix).bool()
      labels[~masked_indices] = -100  # 忽略未掩码位置的损失
      # 80%概率替换为[MASK]，10%随机词，10%保持原词
      indices_replaced = torch.bernoulli(torch.full(labels.shape, 0.8)).bool() & masked_indices
      inputs[indices_replaced] = tokenizer.convert_tokens_to_ids('[MASK]')
      return inputs, labels

• 下一句预测（NSP）：判断两个句子是否连续，增强对句子间关系的建模。

3.3 微调策略

BERT支持两种微调方式：

1. 特征提取：冻结BERT参数，仅训练顶层分类器。
2. 端到端微调：调整所有参数，通常性能更优但需更多数据。

3.4 性能对比

模型	参数规模	预训练数据	GLUE平均分
ELMo	93.6M	1B词	76.5
BERT-Base	110M	3.3B词	80.5
BERT-Large	340M	3.3B词	84.0

四、技术演进：从ELMo到BERT的跨越

4.1 架构对比

维度	ELMo	BERT
基础单元	双向LSTM	Transformer编码器
上下文建模	局部到全局	全局直接建模
并行性	低	高
长距离依赖	有限	优秀

4.2 训练任务对比

• ELMo：仅依赖单向语言模型，上下文信息不完整。
• BERT：MLM任务强制模型学习双向上下文，NSP增强句子级理解。

4.3 应用场景选择

• ELMo适用场景：

  • 计算资源有限
  • 对实时性要求高（LSTM推理更快）
  • 简单任务（如词性标注）

• BERT适用场景：

  • 复杂语义理解（如问答、摘要）
  • 数据量充足（微调效果更显著）
  • 需要建模长距离依赖的任务

五、迁移学习的实践建议

5.1 模型选型指南

1. 任务复杂度：简单任务可选ELMo，复杂任务优先BERT。
2. 数据规模：小数据集（<10K样本）建议使用BERT-Base并加强正则化。
3. 计算预算：ELMo训练成本低，BERT需GPU加速。

5.2 微调技巧

• 学习率调度：BERT微调建议使用线性预热+线性衰减策略。

  from transformers import AdamW, get_linear_schedule_with_warmup
  optimizer = AdamW(model.parameters(), lr=5e-5)
  total_steps = len(train_loader) * epochs
  scheduler = get_linear_schedule_with_warmup(
      optimizer, num_warmup_steps=0.1*total_steps, num_training_steps=total_steps
  )

• 层冻结策略：数据量极少时，可冻结底层Transformer块。

5.3 领域适配方法

• 持续预训练：在目标领域无标注数据上继续预训练BERT。
• 适配器（Adapter）：插入轻量级模块实现领域适配，避免全模型微调。

六、未来展望

迁移学习已成为NLP的标准范式，其演进方向包括：

1. 更高效的预训练：如ALBERT通过参数共享减少内存占用。
2. 多模态迁移：如ViLT实现文本-图像联合表示。
3. 少样本学习：通过提示学习（Prompt Tuning）进一步降低数据需求。

ELMo和BERT作为迁移学习的里程碑，不仅推动了NLP技术的进步，更重塑了开发者解决语言问题的思维模式——从”针对任务设计模型”转向”利用预训练模型适配任务”。这种范式转变，正是人工智能走向通用的关键一步。