一、词向量：自然语言处理的基石

词向量（Word Embedding）是将离散的词汇映射为连续向量空间的技术，是自然语言处理的核心基础。传统方法使用独热编码（One-Hot Encoding）表示词汇，但存在维度灾难和语义缺失的问题。例如，在文本分类任务中，独热编码无法捕捉”猫”和”狗”同为宠物的语义关联。

词向量的核心价值在于：

1. 语义表示：通过低维稠密向量捕捉词汇间的语义关系
2. 维度压缩：将词汇表规模（通常10万+）压缩至50-300维
3. 计算支持：使向量运算（如余弦相似度）能够反映语义相似度

典型应用场景包括：

• 文本分类（新闻分类、情感分析）
• 机器翻译（跨语言词向量对齐）
• 信息检索（语义搜索）
• 推荐系统（内容相似度计算）

二、SVD分解：传统矩阵降维方法

2.1 共现矩阵构建

基于统计的词向量方法首先构建词汇共现矩阵。以语料库”I love NLP. I love deep learning.”为例：

1. 设置窗口大小（如左右各1个词）
2. 统计每个词对在窗口中的共现次数
3. 构建词-词共现矩阵：

	I	love	NLP	deep	learning
I	0	2	1	0	0
love	2	0	1	1	1
NLP	1	1	0	0	0
deep	0	1	0	0	1
learning	0	1	0	1	0

2.2 SVD分解原理

奇异值分解（SVD）将共现矩阵X分解为三个矩阵的乘积：
$X = U \Sigma V^T$

其中：

• U：词向量矩阵（每行对应一个词的向量表示）
• Σ：奇异值对角矩阵（按能量排序）
• V^T：上下文向量矩阵

实际应用中保留前k个最大奇异值进行降维：
$X_k = U_k \Sigma_k V_k^T$

2.3 代码实现示例

import numpy as np
from scipy.linalg import svd
# 构建共现矩阵
co_occurrence = np.array([
    [0, 2, 1, 0, 0],
    [2, 0, 1, 1, 1],
    [1, 1, 0, 0, 0],
    [0, 1, 0, 0, 1],
    [0, 1, 0, 1, 0]
])
# 执行SVD分解
U, S, Vt = svd(co_occurrence, full_matrices=False)
# 选择前2个维度
k = 2
U_k = U[:, :k]
S_k = np.diag(S[:k])
Vt_k = Vt[:k, :]
# 重建降维后的矩阵
X_k = U_k @ S_k @ Vt_k
print("降维后的词向量矩阵:\n", U_k @ S_k)

2.4 SVD方法的局限性

1. 计算复杂度高：O(n^3)的时间复杂度难以处理大规模语料
2. 静态表示：无法处理一词多义现象
3. 稀疏性问题：低频词向量质量差
4. 窗口大小敏感：共现统计受参数影响大

三、Word2Vec：神经网络词向量方法

3.1 核心架构

Word2Vec包含两种模型架构：

1. Skip-Gram：用中心词预测上下文词
   • 输入：中心词one-hot向量
   • 输出：上下文词的概率分布
2. CBOW（Continuous Bag of Words）：用上下文词预测中心词
   • 输入：上下文词的平均向量
   • 输出：中心词的概率分布

3.2 训练过程详解

以Skip-Gram为例的训练流程：

1. 初始化：随机初始化词向量矩阵W（V×N）和输出矩阵W’（N×V）
2. 前向传播：
   • 中心词向量：h = W^T v_c（v_c为one-hot输入）
   • 上下文得分：u = W’^T h
   • 输出概率：p(w_o|w_c) = softmax(u)
3. 反向传播：
   • 计算交叉熵损失
   • 更新W和W’矩阵参数
4. 迭代优化：使用负采样或层次softmax加速训练

3.3 负采样优化

原始softmax计算需要遍历整个词汇表，负采样技术通过：

1. 保持正样本（真实上下文词）
2. 随机采样k个负样本（非上下文词）
3. 优化二元分类目标函数：
   $$ \log \sigma(v{o}’^T v_c) + \sum{i=1}^k \mathbb{E}{w_i \sim P_n}[\log \sigma(-v{i}’^T v_c)] $$

3.4 代码实现示例

import numpy as np
class SkipGram:
    def __init__(self, vocab_size, embedding_dim):
        self.W = np.random.randn(vocab_size, embedding_dim) * 0.01
        self.W_prime = np.random.randn(embedding_dim, vocab_size) * 0.01
    def forward(self, center_word_idx):
        v_c = self.W[center_word_idx]  # 中心词向量
        h = v_c  # 隐藏层（直接使用输入向量）
        u = np.dot(self.W_prime.T, h)  # 上下文得分
        y_pred = self.softmax(u)
        return y_pred, h
    def softmax(self, x):
        e_x = np.exp(x - np.max(x))
        return e_x / e_x.sum(axis=0)
    def backward(self, error, h, center_word_idx, learning_rate):
        # 输出层梯度
        dW_prime = np.outer(h, error)
        # 输入层梯度
        dW = np.zeros_like(self.W)
        dW[center_word_idx] = np.dot(self.W_prime, error)
        # 参数更新
        self.W_prime -= learning_rate * dW_prime
        self.W[center_word_idx] -= learning_rate * dW[center_word_idx]
# 示例使用
vocab_size = 5
embedding_dim = 3
model = SkipGram(vocab_size, embedding_dim)
# 模拟训练过程
center_word_idx = 1  # "love"
y_pred, h = model.forward(center_word_idx)
# 假设真实上下文词是"NLP"(idx=2)和"deep"(idx=3)
target = np.zeros(vocab_size)
target[2] = 1  # 正样本
target[3] = 1  # 正样本
# 计算误差（简化版）
error = y_pred - target
model.backward(error, h, center_word_idx, learning_rate=0.01)

3.5 Word2Vec的优势

1. 高效训练：负采样将复杂度从O(V)降至O(k)
2. 语义丰富：能捕捉复杂的语言模式
3. 动态表示：可通过继续训练适应新领域
4. 维度可控：通常300维即可达到良好效果

四、方法对比与选型建议

4.1 特性对比表

特性	SVD分解	Word2Vec
计算复杂度	O(n^3)	O(nk)
语义捕捉能力	依赖共现统计	神经网络学习
一词多义处理	无法处理	可通过上下文区分
稀疏词处理	质量差	相对更好
实时更新	困难	支持增量训练

4.2 实际应用建议

1. 小规模静态语料：优先选择SVD分解
   • 优势：实现简单，结果可解释
   • 场景：学术研究、小规模文本分析
2. 大规模动态语料：选择Word2Vec
   • 优势：训练效率高，语义表示强
   • 场景：工业级NLP系统、实时应用
3. 资源受限环境：考虑使用预训练模型
   • 推荐：Gensim库的Word2Vec实现
   • 技巧：使用负采样加速训练

五、进阶优化方向

1. 子词嵌入：处理未登录词（OOV）问题
   • 方法：FastText（字符n-gram组合）
2. 多语言嵌入：跨语言词向量对齐
   • 技术：共享词汇表、对抗训练
3. 上下文相关嵌入：BERT等预训练模型
   • 原理：基于Transformer的动态表示
4. 领域适配：特定领域词向量微调
   • 实践：在通用词向量基础上继续训练

六、总结与展望

词向量技术经历了从统计方法到神经网络的演进，SVD分解提供了理论基础，而Word2Vec实现了实用突破。当前研究前沿正朝着：

1. 更高效的训练算法（如AliBi注意力机制）
2. 更丰富的语义表示（结合知识图谱）
3. 更低资源消耗的模型（量化、蒸馏技术）

对于开发者，建议从Gensim库的Word2Vec实现入手，逐步掌握：

1. 参数调优（向量维度、窗口大小）
2. 负采样比例选择（通常5-20个负样本）
3. 训练数据预处理（去停用词、词干提取）
4. 评估方法（词类比任务、相似度计算）

通过系统实践这些方法，可以构建出高质量的词向量表示，为后续的文本分类、信息检索等任务奠定坚实基础。