从词袋到Word2Vec：NLP文本表示的进化之路

摘要

在自然语言处理（NLP）领域，文本表示是连接原始文本与机器学习算法的桥梁。从早期的词袋模型（Bag of Words, BoW）到基于神经网络的Word2Vec，文本表示技术经历了从简单到复杂、从稀疏到稠密的演变。本文将系统梳理这一技术演进路径，分析不同方法的原理、优缺点及适用场景，并结合代码示例展示Word2Vec的实现与应用，为开发者提供技术选型与优化的参考。

一、词袋模型：从文本到向量的初步尝试

1.1 词袋模型的基本原理

词袋模型是NLP中最基础的文本表示方法，其核心思想是将文本视为“词的集合”，忽略词序和语法结构，仅统计每个词在文本中出现的频率。具体步骤如下：

1. 构建词汇表：统计所有文本中出现的唯一词，形成词汇表（Vocabulary）。
2. 向量化：将每个文本表示为一个与词汇表等长的向量，向量中每个元素对应词汇表中的一个词，值为该词在文本中的出现次数（或TF-IDF权重）。

示例：
假设词汇表为 ["apple", "banana", "orange"]，文本 "apple banana apple" 的词袋表示为 [2, 1, 0]。

1.2 词袋模型的优缺点

优点：

• 实现简单，计算效率高。
• 适用于基于统计的机器学习算法（如朴素贝叶斯、SVM）。

缺点：

• 高维稀疏：词汇表较大时，向量维度高且大部分元素为0。
• 语义缺失：无法捕捉词序、语法和语义关系（如“not good”与“good”的向量可能相似）。
• 词汇表依赖：新词或拼写错误会导致表示失效。

1.3 词袋模型的改进：TF-IDF与N-gram

为缓解词袋模型的缺陷，研究者提出以下改进：

• TF-IDF：通过逆文档频率（IDF）降低常见词的权重，突出重要词。
• N-gram：将连续的N个词视为一个特征，捕捉局部词序信息（如“not good”与“good”可区分）。

代码示例（TF-IDF）：

from sklearn.feature_extraction.text import TfidfVectorizer
corpus = ["apple banana apple", "banana orange"]
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())  # 输出词汇表
print(X.toarray())  # 输出TF-IDF矩阵

二、Word2Vec：从稀疏到稠密的语义嵌入

2.1 Word2Vec的提出背景

词袋模型的高维稀疏性和语义缺失问题推动了稠密向量表示的研究。2013年，Mikolov等人提出Word2Vec，通过神经网络将词映射为低维稠密向量（通常50-300维），并捕捉词之间的语义和语法关系。

2.2 Word2Vec的核心思想

Word2Vec包含两种训练架构：

1. CBOW（Continuous Bag of Words）：根据上下文词预测当前词。
2. Skip-gram：根据当前词预测上下文词。

两种方法均通过滑动窗口遍历文本，优化目标函数使预测概率最大化。训练完成后，神经网络的隐藏层权重即为词向量。

2.3 Word2Vec的优点

• 低维稠密：向量维度低且非零，节省存储和计算资源。
• 语义丰富：相似词在向量空间中距离近（如“king”与“queen”）。
• 泛化能力强：可处理未登录词（通过词向量运算，如“vector(king) - vector(man) + vector(woman) ≈ vector(queen)”）。

2.4 Word2Vec的实现与应用

代码示例（使用Gensim库）：

from gensim.models import Word2Vec
sentences = [["apple", "banana", "orange"], ["banana", "juice"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
# 获取词向量
print(model.wv["apple"])  # 输出"apple"的100维向量
# 计算词相似度
print(model.wv.similarity("apple", "banana"))  # 输出相似度分数

应用场景：

• 文本分类：用词向量平均表示文本，输入分类器。
• 信息检索：通过向量相似度实现语义搜索。
• 机器翻译：对齐不同语言的词向量空间。

三、从词袋到Word2Vec的技术演进分析

3.1 稀疏与稠密的权衡

词袋模型的高维稀疏性导致计算效率低和语义缺失，而Word2Vec的稠密向量通过降维和语义建模解决了这一问题。稠密向量的优势在于：

• 减少特征维度，降低过拟合风险。
• 支持向量运算（如加法、减法），实现语义推理。

3.2 上下文感知的进步

词袋模型忽略上下文，而Word2Vec通过滑动窗口捕捉局部上下文信息。后续研究（如GloVe、BERT）进一步扩展上下文范围：

• GloVe：结合全局词频统计与局部上下文窗口。
• BERT：通过双向Transformer捕捉全局上下文。

3.3 实践建议

1. 任务适配：
   • 简单任务（如文本分类）可先用词袋+TF-IDF快速实现。
   • 复杂任务（如语义搜索）建议使用Word2Vec或预训练模型（如BERT）。
2. 资源优化：
   • 小数据集：用Gensim训练Word2Vec，避免过拟合。
   • 大数据集：考虑使用预训练词向量（如Google News Word2Vec）。
3. 评估指标：
   • 内在评估：通过词相似度任务（如WordSim-353）验证词向量质量。
   • 外在评估：在下游任务（如分类准确率）中验证表示效果。

四、未来展望：从Word2Vec到上下文嵌入

Word2Vec虽强大，但其静态词向量无法处理一词多义（如“bank”在“river bank”和“bank loan”中的不同含义）。为此，研究者提出上下文嵌入模型（如ELMo、BERT），通过动态生成词向量解决多义性问题。未来，NLP文本表示将朝着更高效、更语义化的方向发展，为开发者提供更强大的工具。

结语

从词袋模型到Word2Vec，NLP文本表示技术实现了从稀疏到稠密、从统计到语义的跨越。开发者应根据任务需求选择合适的方法，并结合预训练模型与微调策略优化效果。随着深度学习的进步，文本表示技术将继续演进，为NLP应用带来更多可能性。