一、词向量：自然语言处理的数学基石

1.1 离散表示的局限性

传统自然语言处理采用独热编码（One-Hot Encoding）表示词汇，如”king”=[1,0,0,…]，”queen”=[0,1,0,…]。这种表示存在三大缺陷：

• 维度灾难：词汇量10万时需10万维向量
• 语义缺失：任意两个词的余弦相似度恒为0
• 泛化困难：无法通过向量运算捕捉语义关系

1.2 分布式假设的理论突破

Harris（1954）提出的分布式假设指出：相似语义的词会出现在相似上下文中。这为词向量学习提供了理论基础，Firth（1957）进一步强调：”词的意义由其相伴的词决定”。

1.3 向量空间模型构建

通过统计共现矩阵实现初步语义建模：

import numpy as np
from sklearn.metrics.pairwise import cosine_similarity
# 构建共现矩阵（简化版）
corpus = [
    ["king", "man", "royal"],
    ["queen", "woman", "royal"],
    ["child", "boy", "young"]
]
vocab = set(word for sentence in corpus for word in sentence)
word2idx = {word: idx for idx, word in enumerate(vocab)}
# 计算共现频率（窗口大小=1）
co_occurrence = np.zeros((len(vocab), len(vocab)))
for sentence in corpus:
    for i, word in enumerate(sentence):
        for j in range(max(0, i-1), min(len(sentence), i+2)):
            if i != j:
                co_occurrence[word2idx[word], word2idx[sentence[j]]] += 1
# 计算相似度
king_vec = co_occurrence[word2idx["king"]]
queen_vec = co_occurrence[word2idx["queen"]]
print("King-Queen相似度:", cosine_similarity([king_vec], [queen_vec])[0][0])

二、词嵌入：深度学习时代的语义编码

2.1 神经网络语言模型

Bengio等（2003）提出的NNLM架构包含：

• 输入层：n个词的One-Hot编码
• 投影层：共享权重矩阵C∈R^{|V|×m}（词嵌入矩阵）
• 隐藏层：tanh激活的MLP
• 输出层：softmax预测下一个词

数学表示：
P(wt|w{t-n+1}^{t-1}) = g(w_{t-n+1}^{t-1}; θ)
其中θ = {C, W, U, b, b’}

2.2 Word2Vec技术解析

2.2.1 跳字模型（Skip-Gram）

目标函数最大化对数概率：
∑{t=1}^T ∑{-c≤j≤c,j≠0} log P(w_{t+j}|w_t)

负采样近似实现：

import torch
import torch.nn as nn
class SkipGram(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super().__init__()
        self.u_embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.v_embeddings = nn.Embedding(vocab_size, embedding_dim)
    def forward(self, center_words, context_words, neg_words):
        # 中心词向量
        center_emb = self.u_embeddings(center_words)
        # 正例上下文向量
        context_emb = self.v_embeddings(context_words)
        # 负例向量
        neg_emb = self.v_embeddings(neg_words)
        # 正例点积
        pos_loss = torch.log(torch.sigmoid(torch.sum(center_emb * context_emb, dim=1)))
        # 负例点积
        neg_loss = torch.sum(torch.log(torch.sigmoid(-torch.sum(center_emb.unsqueeze(1) * neg_emb, dim=2))), dim=1)
        return -torch.mean(pos_loss + neg_loss)

2.2.2 连续词袋模型（CBOW）

通过上下文平均预测中心词：

class CBOW(nn.Module):
    def __init__(self, vocab_size, embedding_dim, context_size):
        super().__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)
        self.context_size = context_size
    def forward(self, inputs):
        # inputs形状: [batch_size, context_size]
        embeds = self.embeddings(inputs)  # [batch_size, context_size, emb_dim]
        context = torch.mean(embeds, dim=1)  # [batch_size, emb_dim]
        out = self.linear(context)  # [batch_size, vocab_size]
        return out

2.3 GloVe模型创新

Pennington等（2014）提出的GloVe模型结合全局统计与局部上下文：

• 目标函数：∑{i,j=1}^V f(X{ij}) (ui^T v_j + b_i + c_j - log X{ij})^2
• 权重函数：f(x) = (x/x_max)^α if x < x_max else 1
• 典型参数：x_max=100, α=0.75

三、词嵌入的工程实践

3.1 预训练词向量选择指南

模型	维度	训练数据	特点
Word2Vec	300	100B词	局部上下文，高效
GloVe	300	840B词	全局统计，共现矩阵
FastText	300	600B词	子词单元，OOV处理
BERT	768	3300M词	上下文相关，深度双向

3.2 领域适配优化策略

针对专业领域（如医疗、法律）的优化方法：

1. 继续训练：在通用词向量基础上用领域语料微调
   ```python
   from gensim.models import KeyedVectors
   from gensim.models import Word2Vec

加载预训练词向量

model = KeyedVectors.load_word2vec_format(‘GoogleNews-vectors-negative300.bin’, binary=True)

构建领域语料迭代器

class DomainCorpus:
def iter(self):

    # 返回领域语料生成器
    pass

继续训练

domain_corpus = DomainCorpus()
model.train(domain_corpus, total_examples=model.corpus_count, epochs=10)

2. **向量拼接**：通用词向量+领域特征向量
3. **退火学习率**：初始lr=0.01，按cosine函数衰减
## 3.3 多语言词嵌入对齐
实现跨语言语义空间对齐的两种方法：
1. **监督对齐**：使用双语词典作为锚点
```python
from vecmap import map_embeddings
# 加载源语言和目标语言词向量
src_emb = KeyedVectors.load('en.vec')
tgt_emb = KeyedVectors.load('es.vec')
# 加载双语词典
dictionary = [('king', 'rey'), ('queen', 'reina')]
# 对齐词向量空间
map_embeddings(src_emb, tgt_emb, dictionary, method='procrustes')

1. 无监督对齐：基于GAN的对抗训练

四、词嵌入的质量评估

4.1 内在评估方法

4.1.1 语义相似度任务

• WordSim-353：人工标注的353对词相似度
• SimLex-999：更严格的语义相似度数据集

4.1.2 类比推理任务

典型测试样例：

• 语义类比：king - queen :: man - ?
• 句法类比：amazing - amazingly :: rapid - ?

4.2 外在评估方法

将词向量作为特征输入下游任务：

• 文本分类准确率提升
• 命名实体识别F1值变化
• 机器翻译BLEU分数对比

4.3 可视化分析技术

使用t-SNE降维可视化：

from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
# 获取词向量
words = ['king', 'queen', 'man', 'woman', 'child']
vectors = [model[word] for word in words]
# 降维
tsne = TSNE(n_components=2)
vectors_2d = tsne.fit_transform(vectors)
# 可视化
plt.figure(figsize=(8,6))
for word, vec in zip(words, vectors_2d):
    plt.scatter(vec[0], vec[1])
    plt.annotate(word, xy=(vec[0], vec[1]))
plt.show()

五、前沿发展与挑战

5.1 上下文相关词嵌入

ELMo、BERT等模型通过深度双向LSTM或Transformer实现：

• 每个词有多个上下文相关表示
• 解决一词多义问题
• 示例：bank在”river bank”和”bank loan”中的不同表示

5.2 动态词嵌入系统

实时更新词向量的架构设计：

1. 流式训练：使用在线学习算法
2. 增量更新：仅调整变化部分的参数
3. 概念漂移检测：监控词义变化指标

5.3 伦理与偏见问题

词嵌入中的社会偏见案例：

• 性别偏见：医生-护士的向量关系
• 种族偏见：姓名与职业的关联
• 解决方案：
  • 偏见检测算法（WEAT）
  • 去偏算法（Hard-Debiasing）
  • 多样化训练数据

六、最佳实践建议

1. 任务适配选择：

   • 简单任务：Word2Vec/GloVe
   • 复杂任务：BERT等上下文模型
   • 低资源语言：FastText子词单元

2. 维度选择原则：

   • 通用场景：300维
   • 内存敏感场景：100维
   • 深度模型输入：768/1024维

3. 持续优化策略：

   • 建立词向量版本管理系统
   • 监控下游任务性能衰减
   • 定期用新数据增量训练

4. 部署优化技巧：

   • 使用FP16量化压缩
   • 建立常用词向量缓存
   • 实现近似最近邻搜索（ANN）

本文系统梳理了词嵌入与词向量的技术演进，从数学基础到工程实践提供了完整的知识框架。开发者可根据具体场景选择合适的词向量表示方案，并通过持续优化提升模型性能。随着NLP技术的不断发展，词嵌入技术将继续在人工智能领域发挥关键作用。