从单词到向量：Python实现词向量的完整指南

摘要

词向量（Word Embedding）是自然语言处理（NLP）的核心技术之一，能够将离散的单词映射为连续的数值向量，捕捉语义和语法关系。本文系统梳理了Python中实现词向量的方法，涵盖预训练模型（如Word2Vec、GloVe、FastText）的加载与使用、自定义训练流程，以及实践中的关键注意事项。通过代码示例和理论分析，帮助开发者快速掌握词向量技术并应用于实际项目。

一、词向量的核心价值与原理

词向量的本质是通过分布式表示（Distributed Representation）将单词编码为低维稠密向量。相较于传统的独热编码（One-Hot Encoding），词向量的优势体现在：

1. 语义捕捉：相似语义的单词在向量空间中距离更近（如“国王”与“皇后”）。
2. 维度压缩：将数万维的独热编码压缩为几十到几百维的稠密向量，减少计算开销。
3. 关系推理：支持向量运算（如“中国”-“北京”+“法国”≈“巴黎”）。

其理论基础源于分布式假设（Distribitional Hypothesis）：出现在相似上下文中的单词具有相似语义。训练方法包括基于统计的共现矩阵分解（如GloVe）和基于神经网络的预测模型（如Word2Vec）。

二、Python实现词向量的主流方法

1. 加载预训练词向量模型

预训练模型（如Google News Word2Vec、腾讯AI Lab的W2V）提供了开箱即用的词向量，适用于通用场景。

示例：使用Gensim加载Word2Vec模型

from gensim.models import KeyedVectors
# 加载预训练模型（需提前下载）
model_path = 'GoogleNews-vectors-negative300.bin'
model = KeyedVectors.load_word2vec_format(model_path, binary=True)
# 查询词向量
vector = model['computer']  # 返回300维向量
print(vector.shape)  # 输出: (300,)
# 计算相似度
similarity = model.similarity('computer', 'laptop')
print(f"相似度: {similarity:.4f}")

关键点：

• 模型选择：根据任务需求选择维度（通常50-300维）和语料领域（如通用、医学、金融）。
• 内存优化：预训练模型可能占用数GB内存，可通过mmap参数映射到磁盘。
• OOV处理：未登录词（Out-of-Vocabulary）需用零向量或平均子词向量替代。

2. 自定义训练词向量模型

当预训练模型不满足需求时，可通过自定义语料训练词向量。

示例：使用Gensim训练Word2Vec

from gensim.models import Word2Vec
import nltk
from nltk.tokenize import word_tokenize
# 准备语料（示例为简单句子列表）
sentences = [
    ['natural', 'language', 'processing'],
    ['word', 'embeddings', 'are', 'useful'],
    ['python', 'makes', 'nlp', 'easy']
]
# 训练模型
model = Word2Vec(
    sentences=sentences,
    vector_size=100,      # 向量维度
    window=5,             # 上下文窗口大小
    min_count=1,          # 忽略低频词
    workers=4,            # 并行线程数
    sg=1                  # 1=Skip-gram, 0=CBOW
)
# 保存模型
model.save('custom_word2vec.model')
# 查询词向量
vector = model.wv['language']
print(vector)

参数调优建议：

• 维度（vector_size）：通常50-300维，复杂任务用更高维度。
• 窗口（window）：短文本用小窗口（3-5），长文本用大窗口（5-10）。
• 迭代次数（epochs）：默认5次，小语料可增加至10-20次。
• 负采样（negative）：Skip-gram模型建议设置5-20个负样本。

3. 使用FastText处理子词信息

FastText通过引入子词（subword）信息，可处理未登录词和拼写错误。

示例：训练FastText模型

from gensim.models import FastText
sentences = [
    ['running', 'is', 'fun'],
    ['run', 'faster', 'than', 'walk']
]
model = FastText(
    sentences=sentences,
    vector_size=100,
    window=5,
    min_count=1,
    min_n=3,             # 最小子词长度
    max_n=6              # 最大子词长度
)
# 查询未登录词（通过子词组合）
vector = model.wv['runnning']  # 拼写错误仍可得到向量
print(vector)

适用场景：

• 社交媒体文本（拼写不规范）。
• 低资源语言（词表小）。
• 需要词性或形态分析的任务。

三、词向量的后处理与应用

1. 词向量降维与可视化

使用PCA或t-SNE将高维词向量降至2-3维，便于观察语义簇。

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA
# 假设已有词向量字典word_vectors
words = list(word_vectors.keys())[:50]  # 取前50个词
vectors = [word_vectors[word] for word in words]
# PCA降维
pca = PCA(n_components=2)
reduced_vectors = pca.fit_transform(vectors)
# 可视化
plt.figure(figsize=(10, 8))
for i, word in enumerate(words):
    plt.scatter(reduced_vectors[i, 0], reduced_vectors[i, 1])
    plt.annotate(word, (reduced_vectors[i, 0], reduced_vectors[i, 1]))
plt.title("Word Embeddings Visualization")
plt.show()

2. 词向量在下游任务中的应用

• 文本分类：将词向量平均为文档向量，输入分类器。
• 信息检索：计算查询词与文档词的余弦相似度。
• 机器翻译：对齐不同语言的词向量空间（如MUSE模型）。

四、实践中的常见问题与解决方案

1. 内存不足问题

• 解决方案：
  • 使用gensim的mmap参数映射大文件到磁盘。
  • 减少向量维度（如从300维降至100维）。
  • 对大规模语料，采用增量训练（train()方法分批输入）。

2. 未登录词（OOV）处理

• 解决方案：
  • 使用FastText的子词信息。
  • 对专业术语，初始化随机向量并微调。
  • 合并多个词表的向量（如通用+领域词表）。

3. 评估词向量质量

• 内在评估：
  • 语义相似度任务（如WordSim-353数据集）。
  • 类比推理任务（如“国王”-“男人”+“女人”≈“皇后”）。
• 外在评估：
  • 在下游任务（如分类、聚类）中的性能。

五、总结与建议

1. 优先使用预训练模型：对于通用场景，预训练模型（如GloVe、FastText）可节省计算资源。
2. 自定义训练的适用场景：
   • 领域特定语料（如医学、法律）。
   • 需要捕捉细粒度语义差异的任务。
3. 持续更新词向量：语言随时间演变，定期用新数据微调模型。
4. 结合上下文编码：传统词向量是静态的，可结合BERT等动态词向量模型提升性能。

通过合理选择词向量方法并优化参数，开发者能够显著提升NLP任务的准确性和效率。