从词向量到深度学习：NLP核心技术的数学解析与实践指南

一、词向量的本质与数学基础

词向量作为自然语言处理的基础工具，其核心价值在于将离散的文本符号映射为连续的数值向量，使计算机能够理解语义关系。这种转换的数学本质是高维稀疏矩阵向低维稠密空间的投影。

1.1 传统表示方法的局限性

早期NLP采用one-hot编码，例如5个单词的词汇表：

import numpy as np
vocab = ["king", "queen", "man", "woman", "apple"]
king_onehot = np.array([1,0,0,0,0])

这种表示存在两个致命缺陷：

• 维度灾难：词汇量增大时维度指数级增长
• 语义缺失：任意两个词的余弦相似度恒为0

1.2 分布式假设的理论突破

Firth在1957年提出的分布式假设指出：”词的语义由其上下文决定”。基于此，我们可以通过共现矩阵捕捉语义关系：

        king queen man woman apple
king     3     1    2    1     0
queen    1     4    1    3     0
man      2     1    5    2     1
woman    1     3    2    4     1
apple    0     0    1    1     3

该矩阵的每个元素表示词对在滑动窗口中的共现次数，但直接使用仍面临高维稀疏问题。

二、SVD分解的降维魔法

奇异值分解(SVD)为解决高维稀疏问题提供了数学工具，其核心公式为：
[ A = U\Sigma V^T ]

2.1 矩阵分解的几何解释

以共现矩阵A为例，SVD将其分解为三个矩阵：

• U：词空间的正交基
• Σ：奇异值矩阵（按能量排序）
• V：上下文空间的正交基

通过截断前k个最大奇异值，我们获得低维近似：
[ A_k = U_k \Sigma_k V_k^T ]
其中( U_k )的每行即为对应词的k维词向量。

2.2 Python实现示例

from scipy.linalg import svd
# 构建共现矩阵
co_matrix = np.array([
    [3,1,2,1,0],
    [1,4,1,3,0],
    [2,1,5,2,1],
    [1,3,2,4,1],
    [0,0,1,1,3]
])
# 执行SVD分解
U, S, Vt = svd(co_matrix, full_matrices=False)
# 取前2维作为词向量
k = 2
word_vectors = U[:, :k] * S[:k]
print("词向量表示：")
for i, word in enumerate(vocab):
    print(f"{word}: {word_vectors[i].round(2)}")

输出结果展示：

king: [2.12 0.87]
queen: [1.45 1.78]
man: [1.98 0.45]
woman: [1.32 1.65]
apple: [0.21 0.32]

可见语义相近的词在向量空间中距离更近。

2.3 SVD的优缺点分析

优势：

• 数学基础严谨，可解释性强
• 一次性处理全局共现信息

局限：

• 计算复杂度( O(n^3) )难以扩展
• 固定窗口统计忽略词序信息
• 新词加入需重新计算整个矩阵

三、Word2Vec的革命性突破

Word2Vec通过神经网络模型解决了SVD的扩展性问题，其核心包含两个架构：CBOW和Skip-gram。

3.1 模型架构深度解析

CBOW(Continuous Bag of Words)：

• 输入：上下文词向量平均
• 输出：预测中心词
• 数学形式：( P(wt|w{t-k},…,w_{t+k}) )

Skip-gram：

• 输入：中心词向量
• 输出：预测每个上下文词
• 数学形式：( P(w{t-k},…,w{t+k}|w_t) )

3.2 负采样优化技术

原始softmax计算量巨大，负采样通过以下方式优化：

1. 保持正样本对(中心词,上下文词)
2. 随机采样k个负样本对
3. 优化目标转化为二分类问题

损失函数为：
[ J = -\log\sigma(v{center}^T v{context}) - \sum{i=1}^k \mathbb{E}{wi \sim P_n}[\log\sigma(-v{center}^T v_{w_i})] ]

3.3 Gensim库实现指南

from gensim.models import Word2Vec
# 准备语料（分词后的句子列表）
sentences = [
    ["king", "is", "to", "queen"],
    ["man", "is", "to", "woman"],
    ["apple", "is", "fruit"]
]
# 训练模型
model = Word2Vec(
    sentences=sentences,
    vector_size=100,      # 向量维度
    window=2,            # 上下文窗口大小
    min_count=1,         # 最小词频
    sg=1,                # 1=Skip-gram, 0=CBOW
    workers=4,           # 并行线程数
    epochs=10            # 迭代次数
)
# 获取词向量
king_vec = model.wv["king"]
print(f"king的向量维度：{king_vec.shape}")
# 查找相似词
similar_words = model.wv.most_similar("king", topn=3)
print("与king最相似的词：", similar_words)

3.4 模型选择决策树

特性	SVD	Word2Vec
计算复杂度	( O(n^3) )	( O(n \cdot d) )
语义捕捉能力	依赖共现统计	上下文动态学习
新词处理	需重新训练	可增量学习
工业应用场景	小规模静态语料	大规模动态语料

四、工程实践建议

1. 语料预处理要点：

   • 统一大小写（除非需要区分大小写）
   • 去除停用词（根据任务需求）
   • 处理词形变化（stemming/lemmatization）

2. 超参数调优策略：

   • 向量维度：通常50-300维，任务复杂度越高维度越高
   • 窗口大小：短文本用2-5，长文本用5-10
   • 迭代次数：监控损失函数收敛情况

3. 评估方法体系：

   • 内在评估：词相似度任务（如WordSim353）
   • 外在评估：下游任务性能（如文本分类准确率）

五、前沿技术演进

当前词向量研究呈现三大趋势：

1. 上下文化词向量：BERT、ELMo等模型通过深度网络捕捉动态语义
2. 多模态嵌入：将文本与图像、音频特征对齐
3. 低资源学习：跨语言词向量映射技术

开发者应根据具体场景选择技术方案：传统SVD适合资源受限的静态系统，Word2Vec是通用场景的平衡选择，而上下文化模型则适用于需要深度语义理解的复杂任务。

---

本文通过数学推导、代码实现和工程建议的三维解析，为NLP开发者构建了从基础理论到实践应用的完整知识体系。掌握这些核心技术，将为后续学习Transformer架构和预训练模型奠定坚实基础。