从词袋到Word2Vec：NLP文本表示的范式跃迁

一、词袋模型：NLP文本表示的起点

词袋模型（Bag of Words, BoW）是NLP领域最早、最基础的文本表示方法。其核心思想是将文本视为无序的词集合，忽略语法和词序信息，仅统计每个词在文本中出现的频率。例如，对于句子”I love NLP and NLP loves me”，其词袋表示为：

{
    "I": 1,
    "love": 1,
    "NLP": 2,
    "and": 1,
    "loves": 1,
    "me": 1
}

这种表示方法简单直观，但在实际应用中存在三个显著缺陷：

1. 高维稀疏性问题：当词汇表规模达到数十万时，向量维度急剧增加，且大部分位置为0。例如，在维基百科语料库中，词汇表规模可达百万级，导致存储和计算效率低下。
2. 语义信息丢失：无法捕捉”good”与”excellent”之间的语义相似性，也无法区分”not good”与”good”的语义差异。斯坦福大学的研究表明，词袋模型在词义消歧任务上的准确率不足40%。
3. 词序信息缺失：对于”猫吃鱼”和”鱼吃猫”这样的句子，词袋模型会给出完全相同的表示，无法区分语义差异。

为改进这些问题，研究者提出了TF-IDF加权方法，通过逆文档频率（IDF）降低常见词的权重，提升特征区分度。但TF-IDF本质上仍是词袋模型的扩展，无法解决根本问题。

二、N-gram模型：捕捉局部词序的尝试

N-gram模型通过考虑连续的N个词组成的片段来捕捉局部词序信息。例如，二元模型（Bigram）会将”I love NLP”表示为：

{
    "I love": 1,
    "love NLP": 1
}

这种方法在短文本分类任务中表现优于词袋模型，但存在两个主要问题：

1. 数据稀疏性加剧：随着N值的增加，未登录词（OOV）问题愈发严重。例如，三元模型（Trigram）在小型语料库中可能覆盖不到50%的实际词组。
2. 维度灾难：当N=3时，维度数量呈指数级增长，导致模型训练和存储成本大幅上升。

三、Word2Vec：分布式语义表示的突破

Word2Vec的出现标志着NLP文本表示从离散符号系统向连续向量空间的范式转变。其核心基于分布式假设：语义相似的词倾向于出现在相似的上下文中。

1. 模型架构创新

Word2Vec包含两种训练架构：

• CBOW（Continuous Bag of Words）：通过上下文词预测中心词，适合小型语料库。例如，给定上下文”the cat sat”，预测中心词”on”。
• Skip-gram：通过中心词预测上下文词，在大型语料库上表现更优。例如，给定中心词”mat”，预测上下文”the cat sat on”。

两种架构均采用滑动窗口机制捕捉局部上下文，窗口大小通常设为5-10。

2. 负采样优化

原始的神经网络模型需要更新所有词汇的权重，计算复杂度为O(|V|)。Word2Vec引入负采样技术，每次仅更新k个负样本（通常k=5-20），将复杂度降至O(k)，训练速度提升数十倍。

3. 语义表示能力

Word2Vec生成的词向量具有以下特性：

• 语义相似性：通过余弦相似度可量化词间语义关系，如vec(“king”) - vec(“man”) + vec(“woman”) ≈ vec(“queen”)。
• 类比推理：支持”国家-首都”、”动词-过去式”等类比关系，在语义类比测试中准确率可达80%以上。
• 降维可视化：通过t-SNE降维后，相关词汇在二维空间中呈现明显聚类，如”dog”、”cat”、”pet”聚集在一起。

四、实践应用与优化建议

1. 模型训练实践

使用Gensim库训练Word2Vec的典型代码：

from gensim.models import Word2Vec
sentences = [["I", "love", "NLP"], ["NLP", "is", "awesome"]]
model = Word2Vec(
    sentences=sentences,
    vector_size=100,  # 向量维度
    window=5,         # 上下文窗口
    min_count=1,      # 最小词频
    workers=4,        # 并行线程数
    sg=1              # 1=Skip-gram, 0=CBOW
)
model.save("word2vec.model")

2. 超参数调优建议

• 向量维度：通常设为50-300，小型任务选50-100，大型任务选200-300。
• 窗口大小：通用领域设为5-10，特定领域（如医学）可适当增大。
• 迭代次数：监控损失函数，通常10-20轮足够收敛。

3. 情感分析应用案例

在IMDB影评数据集上，使用Word2Vec词向量作为特征，结合LSTM模型，情感分类准确率可达92%，较词袋模型提升15个百分点。关键步骤包括：

1. 预处理文本（去停用词、词干提取）
2. 加载预训练词向量或训练领域特定词向量
3. 将词向量输入神经网络进行分类

五、技术演进启示

从词袋模型到Word2Vec的演进，反映了NLP文本表示的三大趋势：

1. 从离散到连续：词向量将符号映射为连续空间中的点，支持更丰富的数学运算。
2. 从局部到全局：Word2Vec通过大规模语料学习全局语义关系，突破了N-gram的局部限制。
3. 从手工到自动：词向量自动学习语义特征，减少了特征工程的工作量。

当前，Word2Vec已成为NLP任务的标配输入特征，其变体（如GloVe、FastText）在效率和质量上持续优化。对于开发者而言，掌握Word2Vec的原理与实践，是构建高性能NLP系统的关键基础。