斯坦福NLP第12讲：子词模型——从分词困境到高效建模

一、子词模型：NLP建模的突破性范式

在传统NLP任务中，分词（Tokenization）是文本处理的首要步骤。早期基于单词（Word-Level）的模型面临两大核心问题：词汇表爆炸（OOV问题）与稀疏性。例如，英语词汇量超过100万，但模型通常仅能处理5万-10万常见词，导致低频词或新词（如”COVID-19”）无法被正确识别。子词模型（Subword Model）通过将单词拆分为更小的语义单元（子词），在词汇表示与计算效率之间找到了平衡点。

1.1 子词模型的核心价值

• 解决OOV问题：通过子词组合表示未知词，例如将”unhappiness”拆分为”un” + “happy” + “ness”。
• 降低数据稀疏性：子词单元的复用率更高，模型参数更集中于高频模式。
• 多语言适配性：无需为每种语言设计独立分词规则，尤其适合形态丰富的语言（如德语、土耳其语）。
• 计算效率优化：子词模型在保持语义完整性的同时，显著减少词汇表大小。

二、子词分割的经典算法解析

子词模型的核心在于如何高效地将单词拆分为子词序列。斯坦福课程详细介绍了三种主流算法：字节对编码（BPE）、WordPiece与Unigram LM。

2.1 字节对编码（BPE）

BPE通过迭代合并高频字符对实现子词分割，步骤如下：

1. 初始化：将文本拆分为字符序列（如”low” → [“l”, “o”, “w”]）。
2. 统计与合并：统计所有相邻字符对的频率，合并最高频对（如”l”+”o”→”lo”）。
3. 迭代：重复合并步骤，直至达到预设词汇表大小。

代码示例（Python伪实现）：

def bpe_train(texts, vocab_size):
    pairs = generate_all_possible_pairs(texts)
    while len(vocab) < vocab_size:
        bigram = max(pairs, key=lambda x: pairs[x].count)
        texts = replace_all_occurrences(texts, bigram, merge(bigram))
        update_pairs(pairs, bigram)
    return vocab

优势：简单高效，适合资源有限场景。
局限：合并顺序依赖初始数据分布，可能生成非语义子词（如”de” + “e” → “dee”）。

2.2 WordPiece与SentencePiece

WordPiece（BERT采用）通过最大化语言模型概率选择子词分割，而SentencePiece（如T5、mBART）进一步支持无标注训练与空格保留（适用于日语等无空格语言）。其核心思想是通过贪心算法选择使全局概率最大的分割方式。

关键公式：
[
\text{ArgMax}{S} \sum{i=1}^{n} \log P(s_i)
]
其中 ( S = {s_1, …, s_n} ) 为子词序列。

实践建议：

• 使用SentencePiece的--model_prefix参数保存模型，支持后续推理。
• 通过--vocab_size控制词汇表大小，通常设为3万-5万。

2.3 Unigram LM模型

Unigram基于概率生成子词，假设每个子词独立出现。其训练步骤包括：

1. 初始化：随机生成候选子词集。
2. EM算法：
   • E步：计算当前子词集下文本的最优分割。
   • M步：更新子词概率，删除低概率子词。
3. 迭代：直至收敛或达到最大迭代次数。

优势：生成更语义化的子词（如”unhappily”→”un” + “happy” + “ly”）。
挑战：计算复杂度高于BPE，需优化实现。

三、子词模型在预训练语言模型中的应用

现代预训练模型（如BERT、GPT、T5）广泛采用子词策略，以平衡模型容量与泛化能力。

3.1 BERT的WordPiece实践

BERT通过WordPiece生成3万子词词汇表，其中包含完整单词（如”apple”）与高频子词（如”##ing”）。其预处理流程为：

1. 将文本转换为小写。
2. 使用WordPiece分割未知词。
3. 添加特殊标记（[CLS], [SEP]）。

效果：在SQuAD等任务中，BERT的子词表示使OOV错误率降低60%。

3.2 T5的SentencePiece创新

T5采用SentencePiece实现跨语言统一建模，其核心改进包括：

• 无标注训练：直接从原始文本学习子词分布。
• 空格保留：支持日语、中文等无空格语言的自然分割。
• 多语言均衡：通过温度采样控制各语言子词比例。

数据增强技巧：

• 对低资源语言，可提高--character_coverage（默认0.9995）以覆盖更多字符。
• 使用--control_symbols添加语言标识符（如<en>、<zh>）。

四、子词模型的优化与挑战

4.1 性能优化策略

• 混合分词：结合单词与子词模型（如XLNet的”部分词汇化”）。
• 动态词汇表：根据任务动态调整子词集（如领域适配场景）。
• 压缩技术：使用量化或知识蒸馏减少子词嵌入维度。

4.2 典型问题与解决方案

• 子词碎片化：长词被过度拆分导致语义丢失。
  解法：引入词频阈值，优先保留高频完整词。
• 多义词歧义：同一子词在不同上下文中含义不同（如”bank”）。
  解法：结合上下文嵌入（如ELMo、BERT）。
• 训练效率：大规模子词模型需更长训练时间。
  解法：使用混合精度训练（FP16）与梯度累积。

五、开发者实践指南

5.1 工具选择建议

• 快速原型：优先使用HuggingFace的tokenizers库（支持BPE、WordPiece、Unigram）。
• 多语言场景：选择SentencePiece，配置--model_type=unigram。
• 生产环境：考虑FastBPE或Google的sentencepiece C++实现以提升速度。

5.2 参数调优经验

• 词汇表大小：英语通常3万，中文1万-2万（因汉字数量少）。
• 子词最小长度：避免生成过短子词（如单个字符），建议设为2-3。
• 训练数据量：至少10万句以上文本以保证子词分布稳定性。

5.3 评估指标

• 覆盖率：测试集子词覆盖比例（应>99%）。
• 压缩率：子词序列长度与原单词序列长度的比值（理想值0.6-0.8）。
• 任务性能：在下游任务（如分类、生成）中的准确率或BLEU分数。

六、未来趋势与前沿研究

子词模型正朝着语义导向与动态适应方向发展：

• 语义子词：通过注意力机制识别语义相关子词（如”un”+”happy”）。
• 上下文子词：根据句子动态调整子词边界（如”New York”在地理语境中不拆分）。
• 少样本子词学习：利用元学习快速适配新领域子词分布。

总结：子词模型已成为NLP建模的标准组件，其通过平衡表示能力与计算效率，为多语言、低资源场景提供了可靠解决方案。开发者应深入理解其算法原理，并结合具体任务优化分词策略，以构建更鲁棒的NLP系统。