从词袋模型到词向量：Python实现词袋算法与进阶应用解析

一、词袋模型：文本表示的基石

1.1 词袋模型的核心思想

词袋模型（Bag of Words, BOW）将文本视为无序的词汇集合，忽略语法和词序信息，仅统计每个词在文档中出现的频率。其本质是将文本映射为数值向量，每个维度对应词典中的一个词，值代表该词的出现次数或权重。

技术优势：

• 简单高效，适合大规模文本处理
• 无需标注数据，适用于无监督学习
• 可与机器学习算法无缝集成

典型应用场景：

• 文本分类（如垃圾邮件检测）
• 文档相似度计算
• 信息检索系统

1.2 Python实现词袋算法

基础实现步骤

1. 构建词典：统计所有文档中的唯一词汇
2. 向量编码：根据词典生成文档的稀疏向量
3. 归一化处理（可选）：对向量进行L2归一化

代码示例（使用scikit-learn）

from sklearn.feature_extraction.text import CountVectorizer
# 示例文档集
documents = [
    "The cat sat on the mat",
    "The dog played with the ball",
    "The cat chased the dog"
]
# 创建CountVectorizer对象
vectorizer = CountVectorizer()
# 拟合模型并转换文档
X = vectorizer.fit_transform(documents)
# 查看结果
print("词典:", vectorizer.get_feature_names_out())
print("向量表示:\n", X.toarray())

输出解析

词典: ['ball' 'cat' 'chased' 'dog' 'mat' 'on' 'played' 'sat' 'the' 'with']
向量表示:
 [[0 1 0 0 1 1 0 1 2 0]
 [1 0 0 1 0 0 1 0 2 1]
 [0 1 1 1 0 0 0 0 2 0]]

每行对应一个文档，每列对应词典中的一个词，数值表示词频。

1.3 词袋模型的局限性

1. 语义缺失：无法捕捉”good”与”excellent”的语义相似性
2. 维度灾难：当词典规模大时，向量维度过高
3. 稀疏性问题：大多数值为0，影响计算效率

二、词向量：语义表示的突破

2.1 词向量的技术原理

词向量（Word Embedding）将每个词映射为低维稠密向量（通常50-300维），使得语义相近的词在向量空间中距离更近。其核心思想是通过上下文学习词的分布式表示。

与词袋模型的区别：
| 维度 | 词袋模型 | 词向量 |
|——————-|———————————————|——————————————|
| 表示方式 | 高维稀疏向量 | 低维稠密向量 |
| 语义捕捉 | 仅统计频率 | 捕捉上下文语义关系 |
| 计算效率 | 矩阵运算效率低 | 向量运算效率高 |

2.2 Python实现词向量

2.2.1 使用预训练模型（Gensim）

from gensim.models import KeyedVectors
# 加载预训练词向量（需先下载）
model = KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
# 获取词向量
vector = model['computer']
print("词向量维度:", vector.shape)  # 输出: (300,)
# 计算词相似度
similarity = model.similarity('computer', 'laptop')
print("相似度:", similarity)  # 输出约0.7-0.9

2.2.2 训练自定义词向量（Word2Vec）

from gensim.models import Word2Vec
# 示例语料（分词后的列表）
sentences = [
    ["cat", "sat", "on", "mat"],
    ["dog", "played", "with", "ball"],
    ["cat", "chased", "dog"]
]
# 训练模型
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1, workers=4)
# 保存模型
model.save("word2vec.model")
# 获取词向量
vector = model.wv['cat']
print("向量维度:", vector.shape)  # 输出: (100,)

2.3 词向量的优势场景

1. 语义相似度计算：如推荐系统中的商品相似度
2. 文本生成任务：如机器翻译中的上下文理解
3. 少样本学习：通过词向量迁移学习到新领域

三、词袋模型与词向量的融合应用

3.1 TF-IDF加权词袋模型

from sklearn.feature_extraction.text import TfidfVectorizer
# 使用TF-IDF替代词频
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(documents)
print("TF-IDF向量:\n", X_tfidf.toarray())

改进效果：

• 降低常见词的权重（如”the”）
• 提升稀有但重要的词的权重

3.2 词向量增强词袋模型

方法1：词向量平均

import numpy as np
def doc_to_vector(doc, model, vector_size=100):
    vectors = []
    for word in doc.split():
        if word in model.wv:
            vectors.append(model.wv[word])
    if not vectors:
        return np.zeros(vector_size)
    return np.mean(vectors, axis=0)
# 示例使用
doc_vector = doc_to_vector("The cat sat", model)
print("文档向量维度:", doc_vector.shape)  # 输出: (300,)

方法2：Doc2Vec直接生成文档向量

from gensim.models import Doc2Vec
from gensim.models.doc2vec import TaggedDocument
# 准备带标签的文档
documents_tagged = [
    TaggedDocument(words=["The", "cat", "sat"], tags=["doc1"]),
    TaggedDocument(words=["The", "dog", "played"], tags=["doc2"])
]
# 训练模型
model = Doc2Vec(documents_tagged, vector_size=100, window=5, min_count=1, workers=4)
# 获取文档向量
doc_vector = model.infer_vector(["The", "cat", "chased"])
print("Doc2Vec向量:", doc_vector.shape)  # 输出: (100,)

四、实践建议与性能优化

4.1 选择依据

场景	推荐方法
快速原型开发	词袋模型+TF-IDF
需要语义理解	预训练词向量
领域特定任务	自定义训练词向量
内存受限环境	词袋模型（可压缩）

4.2 性能优化技巧

1. 词袋模型优化：

   • 使用HashingVectorizer避免存储词典
   • 限制特征数量（max_features参数）

2. 词向量优化：

   • 使用负采样（negative sampling）加速训练
   • 调整窗口大小（window参数）捕捉不同范围的上下文

3. 混合方法优化：

   • 对高频词使用词袋，对低频词使用词向量
   • 结合PCA降维减少词向量维度

4.3 常见问题解决方案

问题1：词袋模型向量维度过高
解决方案：

# 使用SelectKBest选择重要特征
from sklearn.feature_selection import SelectKBest, chi2
vectorizer = CountVectorizer(max_features=10000)
X = vectorizer.fit_transform(documents)
# 选择前5000个重要特征
ch2 = SelectKBest(chi2, k=5000)
X_selected = ch2.fit_transform(X, labels)  # labels需提前定义

问题2：词向量训练速度慢
解决方案：

• 增加workers参数并行训练
• 使用更小的vector_size（如50维）
• 过滤低频词（min_count参数）

五、未来发展趋势

1. 上下文相关词向量：如BERT、ELMo等模型，突破传统词向量的静态表示
2. 多模态词向量：结合文本、图像、音频的跨模态表示
3. 轻量化词向量：针对移动端和边缘设备的压缩技术

结论

词袋模型作为文本表示的经典方法，以其简单性和高效性在工业界广泛应用；而词向量通过捕捉语义关系，为自然语言处理任务带来了质的飞跃。在实际应用中，开发者应根据任务需求、数据规模和计算资源，灵活选择或组合这两种方法。对于初学者，建议从词袋模型入手理解文本表示的基本原理，再逐步掌握词向量的高级应用。