从词袋模型到词向量：Python实现与算法对比解析

一、词袋模型：文本表示的基石

词袋模型（Bag of Words, BoW）是自然语言处理中最基础的文本表示方法，其核心思想是将文本视为无序的单词集合，忽略语法和词序信息，仅统计每个单词的出现频率。

1.1 词袋模型原理

词袋模型将文本转换为数值向量，每个维度对应词典中的一个单词。例如：

• 文本：”I love Python”
• 词典：[“I”, “love”, “Python”, “NLP”]
• 向量表示：[1, 1, 1, 0]

1.2 Python实现

使用scikit-learn的CountVectorizer可快速实现词袋模型：

from sklearn.feature_extraction.text import CountVectorizer
corpus = [
    'I love Python',
    'Python is great for NLP',
    'NLP and Python are powerful'
]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())  # 输出词典
print(X.toarray())  # 输出词频矩阵

输出结果：

['and' 'are' 'for' 'great' 'i' 'is' 'love' 'nlp' 'powerful' 'python']
[[1 0 0 0 1 0 1 0 0 1]
 [0 0 1 1 0 1 0 1 0 1]
 [1 1 0 0 0 0 0 1 1 1]]

1.3 词袋模型的局限性

1. 忽略语义关系：无法捕捉”good”与”excellent”的相似性
2. 高维稀疏性：当词典规模大时，向量维度高且大部分为0
3. 词序信息丢失：”猫吃鱼”和”鱼吃猫”会被表示为相同向量

二、词向量：语义空间的突破

词向量（Word Embedding）将单词映射到连续的低维空间，每个维度代表一个潜在语义特征，解决了词袋模型的核心缺陷。

2.1 词向量原理

词向量通过神经网络学习单词的分布式表示，例如：

• “king”：[0.8, -0.2, 0.5, …]
• “queen”：[0.7, -0.3, 0.4, …]

这种表示使得语义相似的词在向量空间中距离较近。

2.2 Python实现：Word2Vec

使用Gensim库实现Word2Vec：

from gensim.models import Word2Vec
import nltk
nltk.download('punkt')
sentences = [
    "I love Python programming".split(),
    "Python is great for data science".split(),
    "Natural language processing is fascinating".split()
]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
print(model.wv['Python'])  # 输出Python的词向量
print(model.wv.most_similar('Python', topn=2))  # 输出与Python最相似的词

2.3 词向量的优势

1. 语义保留：通过向量运算可实现”king - man + woman ≈ queen”
2. 降维表示：通常使用50-300维表示，计算效率高
3. 上下文感知：可捕捉”bank”在金融和河流场景下的不同含义

三、词袋算法的进阶应用

尽管词向量更先进，词袋模型在特定场景下仍有独特价值。

3.1 TF-IDF优化

TF-IDF通过降低常见词权重提升模型性能：

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(corpus)
print(X_tfidf.toarray())

3.2 N-gram特征扩展

通过捕捉局部词序提升表现：

bigram_vectorizer = CountVectorizer(ngram_range=(1, 2))
X_bigram = bigram_vectorizer.fit_transform(corpus)
print(bigram_vectorizer.get_feature_names_out())

四、算法选择指南

特性	词袋模型	词向量
计算复杂度	低	高
语义保留能力	弱	强
适用任务	文本分类	语义相似度计算
内存占用	高（稀疏矩阵）	中（密集矩阵）
冷启动能力	强	弱（需预训练）

4.1 推荐场景

• 使用词袋模型：

  • 简单文本分类任务
  • 实时性要求高的场景
  • 数据量小无法训练词向量时

• 使用词向量：

  • 需要语义理解的任务（如问答系统）
  • 文本相似度计算
  • 有足够预训练数据时

五、实战建议

1. 混合使用：先用词袋模型快速原型验证，再用词向量优化
2. 维度选择：词向量维度建议100-300维，词袋模型可保留Top 5000高频词
3. 预训练利用：优先使用GloVe或FastText等预训练词向量
4. 评估指标：使用余弦相似度评估词向量质量，准确率评估词袋模型

六、未来发展方向

1. 上下文词向量：BERT等模型通过注意力机制实现动态词表示
2. 多模态融合：结合图像、音频特征的多模态词向量
3. 低资源语言：跨语言词向量迁移学习技术

词袋模型和词向量代表了文本表示的两个重要范式，理解它们的原理和适用场景，是构建高效NLP系统的关键。在实际应用中，应根据任务需求、数据规模和计算资源综合选择，必要时可结合两种方法的优势。