从词袋到词向量：Python中词袋算法的原理与实践全解析

在自然语言处理（NLP）领域，文本向量化是将非结构化文本转换为数值特征的关键步骤。其中，词袋模型（Bag of Words, BoW）和词向量（Word Embedding）是两种经典方法。词袋模型通过统计词频构建稀疏向量，而词向量则通过低维稠密向量捕捉语义关系。本文将以Python为工具，系统解析词袋算法的实现原理，并对比其与词向量的技术差异，为开发者提供从基础到进阶的实践指南。

一、词袋模型的核心原理与实现

1.1 词袋模型的基本概念

词袋模型将文本视为“词的集合”，忽略语法和词序，仅统计每个词的出现频率。例如，句子“I love Python”和“Python is great”可表示为：

{
    "I": 1, "love": 1, "Python": 1,  # 第一句
    "Python": 1, "is": 1, "great": 1  # 第二句
}

合并后去重，得到全局词汇表：{"I", "love", "Python", "is", "great"}。每个句子被转换为长度等于词汇表大小的向量，向量的每个维度对应一个词的出现次数。

1.2 Python实现步骤

步骤1：构建词汇表

from collections import defaultdict
def build_vocabulary(documents):
    vocab = defaultdict(int)
    for doc in documents:
        for word in doc.split():
            vocab[word] += 1
    return dict(vocab)
docs = ["I love Python", "Python is great"]
vocab = build_vocabulary(docs)
print("Vocabulary:", vocab)  # 输出所有词及其出现次数

步骤2：向量化文本

import numpy as np
def bow_vectorize(doc, vocab):
    vector = np.zeros(len(vocab))
    word_index = {word: idx for idx, word in enumerate(vocab)}
    for word in doc.split():
        if word in word_index:
            vector[word_index[word]] += 1
    return vector
# 获取词汇表中的唯一词并按字母排序（确保向量维度一致）
unique_words = sorted(vocab.keys())
vocab_size = len(unique_words)
word_to_idx = {word: idx for idx, word in enumerate(unique_words)}
def improved_bow_vectorize(doc, word_to_idx):
    vector = np.zeros(len(word_to_idx))
    for word in doc.split():
        if word in word_to_idx:
            vector[word_to_idx[word]] += 1
    return vector
# 测试
doc1 = "I love Python"
vector1 = improved_bow_vectorize(doc1, word_to_idx)
print("Vector for 'I love Python':", vector1)  # 输出 [1. 1. 1. 0. 0.]

步骤3：使用scikit-learn优化

from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(docs)
print("Feature names:", vectorizer.get_feature_names_out())
print("Vectorized matrix:\n", X.toarray())

CountVectorizer自动处理分词、构建词汇表和向量化，输出矩阵的每一行对应一个文档，每一列对应一个词。

1.3 词袋模型的局限性

• 高维稀疏性：词汇表较大时，向量中大部分元素为0，浪费存储和计算资源。
• 语义缺失：无法捕捉“Python”与“编程”的语义关联。
• 词序忽略：“狗咬人”和“人咬狗”被视为相同。

二、词向量：从稀疏到稠密的语义升级

2.1 词向量的核心思想

词向量将每个词映射为低维（如50-300维）的稠密向量，通过向量间的距离（如余弦相似度）衡量语义相似度。例如，“king”与“queen”的向量接近，“Python”与“Java”的向量可能也较近。

2.2 预训练词向量模型

GloVe模型示例

import numpy as np
# 假设已下载GloVe预训练模型（如glove.6B.50d.txt）
def load_glove_model(file_path):
    embeddings = {}
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            values = line.split()
            word = values[0]
            vector = np.asarray(values[1:], dtype='float32')
            embeddings[word] = vector
    return embeddings
glove_embeddings = load_glove_model('glove.6B.50d.txt')
python_vec = glove_embeddings.get('python', np.zeros(50))
java_vec = glove_embeddings.get('java', np.zeros(50))
# 计算余弦相似度
def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
sim = cosine_similarity(python_vec, java_vec)
print(f"Similarity between 'python' and 'java': {sim:.4f}")

2.3 训练自定义词向量（Word2Vec）

from gensim.models import Word2Vec
sentences = [
    "I love Python".split(),
    "Python is great".split(),
    "I use Python for NLP".split()
]
model = Word2Vec(
    sentences=sentences,
    vector_size=50,  # 向量维度
    window=5,        # 上下文窗口大小
    min_count=1,     # 忽略出现次数低于此值的词
    workers=4        # 并行线程数
)
# 获取词向量
python_vec = model.wv['Python']
print("Vector for 'Python':", python_vec[:5])  # 打印前5维
# 找最相似的词
similar_words = model.wv.most_similar('Python', topn=3)
print("Words most similar to 'Python':", similar_words)

三、词袋与词向量的对比与选型建议

维度	词袋模型	词向量
向量类型	稀疏高维（词汇表大小）	稠密低维（50-300维）
语义捕捉	仅统计词频，无语义	通过上下文学习语义
计算效率	矩阵运算快，但稀疏矩阵存储大	向量运算高效，存储小
适用场景	文本分类、关键词提取	语义搜索、文本相似度、机器翻译

选型建议：

• 优先词袋模型：当数据量小、任务简单（如垃圾邮件分类）时，词袋模型实现简单且效果足够。
• 优先词向量：当需要捕捉语义（如推荐系统、问答系统）或数据量较大时，词向量能显著提升性能。

四、实践中的优化技巧

1. 停用词过滤：移除“the”、“is”等高频无意义词，减少噪声。

   from nltk.corpus import stopwords
   stop_words = set(stopwords.words('english'))
   filtered_doc = [word for word in doc.split() if word.lower() not in stop_words]

2. TF-IDF加权：调整词频权重，降低常见词的贡献。

   from sklearn.feature_extraction.text import TfidfVectorizer
   tfidf = TfidfVectorizer()
   X_tfidf = tfidf.fit_transform(docs)

3. 降维处理：对词袋向量使用PCA或NMF减少维度。

   from sklearn.decomposition import PCA
   pca = PCA(n_components=10)
   X_reduced = pca.fit_transform(X.toarray())

五、总结与展望

词袋模型是文本向量化的起点，其简单性和可解释性使其在工业界仍有广泛应用；而词向量通过深度学习捕捉语义，代表了NLP技术的发展方向。开发者应根据任务需求选择合适的方法，或结合两者（如用词袋模型初始化词向量）。未来，随着Transformer架构的普及，上下文相关的词向量（如BERT）将进一步推动NLP的边界。

通过本文的代码示例和技术解析，读者可快速掌握词袋模型与词向量的实现，并灵活应用于实际项目中。