基于Python的词向量生成：从输入到向量的全流程解析

摘要

词向量是自然语言处理（NLP）的核心技术之一，能够将离散的词语映射为连续的数值向量，为下游任务（如文本分类、情感分析）提供基础特征。本文围绕”Python输入词生成词向量”这一主题，系统介绍两种主流方法：使用预训练模型（如Word2Vec、GloVe、FastText）和自定义模型训练（如Gensim、PyTorch实现）。通过代码示例和场景分析，帮助开发者理解词向量的生成原理、工具选择及优化策略。

一、词向量的核心价值与应用场景

词向量（Word Embedding）通过将词语表示为低维稠密向量，解决了传统One-Hot编码的维度灾难和语义缺失问题。其核心价值体现在：

1. 语义表示：相似词语在向量空间中距离相近（如”猫”与”狗”的余弦相似度高于”猫”与”汽车”）。
2. 上下文关联：通过训练捕捉词语的语法和语义关系（如”国王”-“男人”+”女人”≈”女王”）。
3. 特征降维：将百万级词汇的稀疏表示压缩为几百维的稠密向量，提升模型效率。

典型应用场景包括：

• 文本分类（新闻分类、垃圾邮件检测）
• 情感分析（评论极性判断）
• 机器翻译（源语言到目标语言的映射）
• 信息检索（语义搜索）

二、预训练模型：快速获取词向量的捷径

2.1 常用预训练模型对比

模型	特点	适用场景
Word2Vec	简单高效，支持CBOW和Skip-gram两种架构	小规模数据、快速原型开发
GloVe	基于全局词频统计，捕捉词语共现关系	语义相似度计算
FastText	支持子词（subword）信息，处理未登录词（OOV）能力强	多语言、拼写错误容忍
BERT	上下文相关词向量，同一词在不同语境下向量不同	深度语义理解任务

2.2 代码实现：使用Gensim加载预训练模型

from gensim.models import KeyedVectors
# 加载预训练的Google News Word2Vec模型（需提前下载）
model_path = "GoogleNews-vectors-negative300.bin"
model = KeyedVectors.load_word2vec_format(model_path, binary=True)
# 查询词向量
vector = model["computer"]  # 获取"computer"的300维向量
print(vector.shape)  # 输出: (300,)
# 计算词语相似度
similarity = model.similarity("computer", "laptop")
print(f"相似度: {similarity:.4f}")  # 输出: 相似度: 0.7823

2.3 注意事项

1. 模型选择：根据任务需求选择模型（如需要处理未登录词时优先选择FastText）。
2. 维度权衡：高维向量（如300维）通常能捕捉更多语义信息，但计算成本更高。
3. 语言支持：中文需使用专门训练的模型（如腾讯AI Lab的800万中文词向量）。

三、自定义模型训练：从零构建词向量

3.1 使用Gensim训练Word2Vec模型

from gensim.models import Word2Vec
import jieba  # 中文分词
# 示例语料（实际应用中需更大规模数据）
sentences = [
    ["我", "喜欢", "自然", "语言", "处理"],
    ["深度", "学习", "是", "人工智能", "的核心"],
    ["词", "向量", "是", "NLP", "的基础"]
]
# 训练模型
model = Word2Vec(
    sentences=sentences,
    vector_size=100,  # 向量维度
    window=5,         # 上下文窗口大小
    min_count=1,      # 忽略低频词
    workers=4,        # 并行线程数
    sg=1,             # 1=Skip-gram, 0=CBOW
    epochs=10         # 迭代次数
)
# 保存模型
model.save("word2vec.model")
# 查询词向量
vector = model.wv["向量"]
print(vector.shape)  # 输出: (100,)

3.2 使用PyTorch实现自定义词向量

import torch
import torch.nn as nn
import torch.optim as optim
from collections import Counter
import numpy as np
# 示例语料
corpus = ["我 爱 自然 语言 处理", "深度 学习 是 人工智能 的 核心"]
# 构建词汇表
words = [word for sentence in corpus for word in sentence.split()]
word_counts = Counter(words)
vocab = {"<PAD>": 0, "<UNK>": 1}  # 填充符和未知词
for word, count in word_counts.items():
    vocab[word] = len(vocab)
# 参数设置
embedding_dim = 50
vocab_size = len(vocab)
# 定义模型
class WordEmbedding(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super(WordEmbedding, self).__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
    def forward(self, inputs):
        return self.embeddings(inputs)
# 初始化模型
model = WordEmbedding(vocab_size, embedding_dim)
loss_function = nn.MSELoss()  # 实际应用中需设计更复杂的损失函数
optimizer = optim.SGD(model.parameters(), lr=0.01)
# 模拟训练过程（实际应用中需设计上下文预测任务）
for epoch in range(100):
    # 此处省略训练逻辑（需构建正负样本对）
    optimizer.zero_grad()
    # 假设inputs是索引化的词语序列
    inputs = torch.LongTensor([vocab[word] for word in "我 爱 处理".split()])
    outputs = model(inputs)
    loss = loss_function(outputs, torch.randn_like(outputs))  # 模拟损失
    loss.backward()
    optimizer.step()
# 获取词向量
word_vector = model.embeddings(torch.LongTensor([vocab["爱"]]))
print(word_vector.shape)  # 输出: torch.Size([1, 50])

3.3 训练优化策略

1. 数据规模：至少需要百万级 tokens 的语料才能训练出可用词向量。
2. 超参数调优：
   • 向量维度：通常 50-300 维，复杂任务可更高。
   • 窗口大小：Skip-gram 模型建议 5-10，CBOW 模型可稍小。
   • 迭代次数：根据损失曲线调整，通常 5-20 轮。
3. 负采样：Skip-gram 模型结合负采样可显著提升效率。

四、词向量的评估与改进

4.1 内在评估方法

1. 词语相似度任务：计算词向量与人工标注相似度的相关性（如Spearman系数）。
2. 词语类比任务：验证”国王-男人+女人≈女王”的向量运算是否成立。

4.2 外在评估方法

将词向量应用于下游任务（如文本分类），观察准确率提升。

4.3 改进方向

1. 领域适配：在通用词向量基础上，用领域语料进行微调。
2. 多模态融合：结合图像、音频等模态信息生成更丰富的词表示。
3. 动态词向量：使用BERT等模型获取上下文相关的词向量。

五、常见问题与解决方案

1. 未登录词（OOV）问题：
   • 解决方案：使用FastText的子词信息或字符级CNN。
2. 低频词向量质量差：
   • 解决方案：提高min_count阈值或使用词频加权。
3. 计算资源不足：
   • 解决方案：使用Gensim的在线训练或减小向量维度。

六、总结与建议

1. 快速原型开发：优先使用预训练模型（如Gensim加载Word2Vec）。
2. 定制化需求：若需处理特定领域或语言，建议自定义训练。
3. 持续优化：根据下游任务反馈调整词向量模型。

通过本文的介绍，开发者可以全面掌握Python生成词向量的方法，从预训练模型的直接应用到自定义模型的深度训练，为NLP项目提供坚实的特征基础。