机器学习038-NLP实战：手把手教你构建词袋模型处理文本数据

一、词袋模型：NLP文本处理的基石

词袋模型（Bag of Words, BoW）是自然语言处理（NLP）中最基础的文本特征提取方法，其核心思想是将文本视为”词汇的集合”，忽略语法和词序，仅统计每个词在文档中出现的频率。这种简化方式虽损失了语义结构信息，但因其计算高效、易于实现，被广泛应用于文本分类、情感分析、信息检索等任务。

1.1 词袋模型的核心原理

词袋模型通过三步将文本转换为数值向量：

1. 分词：将文本拆分为独立的词汇单元（Token）。
2. 构建词汇表：统计所有文档中的唯一词汇，形成全局词汇表。
3. 向量化：根据词汇表统计每个文档中词汇的出现频率或存在性（0/1）。

例如，两句话”I love NLP”和”NLP is fun”的词袋表示如下：

词汇表: ['I', 'love', 'NLP', 'is', 'fun']
"I love NLP" → [1, 1, 1, 0, 0]
"NLP is fun" → [0, 0, 1, 1, 1]

1.2 词袋模型的优缺点

优点：

• 实现简单，计算效率高。
• 适用于短文本或对词序不敏感的任务。
• 可与TF-IDF结合提升特征区分度。

缺点：

• 忽略词序和语法结构，丢失语义信息。
• 高维稀疏向量（词汇表大小决定维度）。
• 无法处理同义词或多义词问题。

二、词袋模型构建全流程：从分词到向量化

2.1 数据预处理与分词

分词是词袋模型的第一步，需根据语言特性选择分词工具：

• 英文：按空格和标点分割，需处理缩写、连字符等。

  import re
  text = "NLP's future is bright!"
  tokens = re.findall(r"\w+|\$[\d\.]+|\S+", text)  # 输出: ['NLP', 's', 'future', 'is', 'bright']

• 中文：需使用分词库（如jieba、pkuseg）处理无空格分隔的问题。

  import jieba
  text = "自然语言处理很有趣"
  tokens = list(jieba.cut(text))  # 输出: ['自然语言', '处理', '很', '有趣']

预处理建议：

• 转换为小写（英文）。
• 去除停用词（如”the”、”的”）。
• 处理词干（Stemming）或词形还原（Lemmatization）。

2.2 构建词汇表与向量化

使用Python的sklearn库可高效实现词袋向量化：

from sklearn.feature_extraction.text import CountVectorizer
corpus = [
    "I love NLP",
    "NLP is fun",
    "Machine learning is part of AI"
]
vectorizer = CountVectorizer()
X = vectorizer.fit_transform(corpus)
print(vectorizer.get_feature_names_out())  # 输出词汇表
print(X.toarray())  # 输出稀疏矩阵

输出结果：

['ai', 'fun', 'i', 'is', 'love', 'machine', 'nlp', 'of', 'part', 'learning']
[[0 0 1 0 1 0 1 0 0 0]
 [0 1 0 1 0 0 1 0 0 0]
 [1 0 0 1 0 1 0 1 1 1]]

2.3 优化词袋模型：TF-IDF加权

原始词频可能夸大高频词的作用，TF-IDF通过以下公式调整权重：
[ \text{TF-IDF}(t,d) = \text{TF}(t,d) \times \log\left(\frac{N}{\text{DF}(t)}\right) ]
其中：

• ( \text{TF}(t,d) )：词( t )在文档( d )中的频率。
• ( \text{DF}(t) )：包含词( t )的文档数。
• ( N )：总文档数。

from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer()
X_tfidf = tfidf.fit_transform(corpus)
print(X_tfidf.toarray())

三、词袋模型的应用场景与案例分析

3.1 文本分类任务

词袋模型常作为文本分类的基线特征，结合SVM、随机森林等分类器使用。例如，新闻分类中：

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
# 假设已有标签y和分词后的文本数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
clf = SVC(kernel='linear')
clf.fit(X_train, y_train)
print("Accuracy:", clf.score(X_test, y_test))

3.2 情感分析

通过统计情感词（如”good”、”bad”）的频率判断文本情感倾向。例如：

positive_words = ["good", "great", "excellent"]
negative_words = ["bad", "poor", "terrible"]
def sentiment_score(text):
    tokens = text.lower().split()
    pos = sum(1 for word in tokens if word in positive_words)
    neg = sum(1 for word in tokens if word in negative_words)
    return pos - neg

3.3 信息检索与文档相似度

词袋模型可通过余弦相似度计算文档相关性：

from sklearn.metrics.pairwise import cosine_similarity
doc1 = "NLP is fun"
doc2 = "Machine learning is interesting"
vec1 = vectorizer.transform([doc1])
vec2 = vectorizer.transform([doc2])
sim = cosine_similarity(vec1, vec2)
print("Similarity:", sim[0][0])

四、词袋模型的局限性及改进方向

4.1 高维稀疏问题

词袋模型生成的向量维度等于词汇表大小，可能导致”维度灾难”。改进方法：

• 特征选择：保留高频词或使用卡方检验筛选特征。
• 降维：应用PCA或NMF减少维度。

4.2 语义信息缺失

词袋模型无法捕捉”猫”和”宠物”的语义关系。改进方案：

• 词嵌入：使用Word2Vec、GloVe等预训练词向量。
• 主题模型：如LDA（潜在狄利克雷分配）提取主题特征。

4.3 多义词问题

“苹果”在”I eat an apple”和”Apple releases new iPhone”中含义不同。解决方案：

• 上下文感知模型：如BERT、ELMo等深度学习模型。

五、实战建议：如何高效使用词袋模型

1. 数据规模：词袋模型适合中小规模数据集（<10万文档），大规模数据建议使用分布式计算（如Spark MLlib）。
2. 词汇表大小：通常限制在1万-5万词，可通过max_features参数控制。
3. 结合其他特征：与词性标签、命名实体等特征组合提升效果。
4. 基准测试：在任务中先尝试词袋模型作为基线，再对比复杂模型。

六、总结与展望

词袋模型作为NLP的入门技术，虽存在局限性，但其简单性和可解释性使其在工业界仍有广泛应用。随着深度学习的兴起，词袋模型常作为预处理步骤或与其他模型结合使用。未来，随着预训练语言模型（如GPT、BERT）的普及，词袋模型可能逐渐被更强大的表示方法取代，但其作为理解文本特征的基础工具，仍值得开发者深入掌握。

关键代码片段总结：

# 词袋模型基础实现
from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(max_features=5000, stop_words='english')
X = vectorizer.fit_transform(texts)
# TF-IDF优化
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf = TfidfVectorizer(ngram_range=(1,2))  # 加入二元词组
X_tfidf = tfidf.fit_transform(texts)

通过本文的详细讲解，读者可系统掌握词袋模型的构建方法，并理解其在NLP任务中的定位与应用场景。