词向量的技术原理与数学基础

词向量（Word Embedding）是将离散的词语映射为连续、低维的实数向量的技术，其核心目标是通过数学表示捕捉词语的语义和语法信息。传统文本表示方法（如One-Hot编码）存在维度灾难和语义缺失问题，而词向量通过分布式假设（相近词语在上下文中具有相似分布）解决了这一痛点。

分布式假设与统计模型

分布式假设由Firth于1957年提出，认为词语的语义由其上下文决定。基于这一理论，统计语言模型（如N-gram）通过共现频率统计词语关系，但受限于数据稀疏性。2003年，Bengio等人提出神经网络语言模型（NNLM），首次将词语映射为低维稠密向量，并通过前馈神经网络预测下一个词语的概率。该模型通过隐藏层参数共享，实现了词语的分布式表示。

Word2Vec：从理论到实践的突破

Word2Vec是词向量技术的里程碑，由Mikolov团队于2013年提出，包含连续词袋模型（CBOW）和跳字模型（Skip-gram）两种架构。CBOW通过上下文词语预测中心词，而Skip-gram则反向操作，通过中心词预测上下文。其创新点在于：

1. 层次Softmax：通过霍夫曼树加速训练，将计算复杂度从O(V)降至O(log V)，其中V为词汇表大小。
2. 负采样：仅更新部分负样本的梯度，显著提升训练效率。

以Skip-gram为例，其目标函数为最大化对数似然：

import numpy as np
def skip_gram_loss(center_word, context_words, embedding_matrix):
    # 假设embedding_matrix为[V, D]的矩阵，V为词汇表大小，D为向量维度
    center_vec = embedding_matrix[center_word]
    loss = 0
    for context_word in context_words:
        context_vec = embedding_matrix[context_word]
        # 点积衡量相似度
        score = np.dot(center_vec, context_vec)
        # 负采样简化后的损失（示例为简化版）
        loss += -np.log(1 / (1 + np.exp(-score)))
    return loss

实际实现中，负采样会随机选择K个负样本，仅计算这些样本的损失。

GloVe：全局共现信息的融合

GloVe（Global Vectors）由Pennington等人于2014年提出，结合了全局矩阵分解（如LSA）和局部上下文窗口（如Word2Vec）的优点。其核心思想是通过共现矩阵X（X_ij表示词i与词j的共现次数）构建损失函数：

J = Σ_{i,j=1}^V f(X_{ij}) (w_i^T w_j + b_i + b_j - log(X_{ij}))^2

其中，f(X_ij)为权重函数，用于平衡高频和低频词的影响。GloVe的向量表示同时捕捉了词语的共现统计和线性代数结构。

词向量的典型应用场景

文本分类与情感分析

在文本分类任务中，词向量可将文本转换为向量序列，再通过池化操作（如平均池化或最大池化）得到文档表示。例如，在情感分析中，可通过词向量加权求和捕捉关键情感词：

def document_vector(words, embedding_matrix, sentiment_weights):
    vec = np.zeros(embedding_matrix.shape[1])
    for i, word in enumerate(words):
        if word in embedding_matrix:
            # 加权求和，情感词权重更高
            weight = sentiment_weights.get(word, 1.0)
            vec += weight * embedding_matrix[word]
    return vec / len(words)  # 归一化

机器翻译与跨语言词向量

跨语言词向量旨在将不同语言的词向量映射到同一空间，实现零资源翻译。例如，通过共享隐藏层的双语神经网络，可学习到英语和法语的对应关系。实际应用中，可利用对齐的词典或平行语料库进行监督训练。

推荐系统与语义搜索

在推荐系统中，词向量可捕捉用户兴趣和物品特征的语义关联。例如，通过计算用户历史行为（如浏览的商品标题）与候选物品的词向量相似度，实现个性化推荐。在语义搜索中，词向量可将查询和文档映射到同一空间，通过余弦相似度排序结果。

词向量的优化策略与实践建议

训练数据的选择与预处理

1. 数据规模：词向量的质量高度依赖数据规模。建议使用至少1亿词级别的语料库（如维基百科、新闻数据）。
2. 领域适配：通用词向量（如Google News预训练向量）在特定领域（如医疗、法律）可能表现不佳。可通过继续训练（Fine-tuning）或领域数据重新训练优化。
3. 预处理步骤：
   • 低频词过滤：移除出现次数低于阈值的词语（如<5次）。
   • 子词处理：对未登录词（OOV）采用BPE或WordPiece分词。
   • 标准化：统一大小写、去除标点符号。

超参数调优与模型选择

1. 向量维度：通常选择50-300维。低维向量（如50维）计算效率高，但可能丢失信息；高维向量（如300维）表达能力更强，但需要更多数据。
2. 窗口大小：Skip-gram的窗口大小影响上下文范围。短窗口（如2）捕捉局部语法，长窗口（如5）捕捉全局语义。
3. 负采样数：通常选择5-20个负样本。过多负样本会降低训练速度，过少则可能欠拟合。

评估方法与指标

1. 内在评估：通过词语类比任务（如“国王-女王≈男人-女人”）评估词向量的语义质量。常用指标为准确率。
2. 外在评估：将词向量应用于下游任务（如文本分类），通过任务性能（如F1值）间接评估。
3. 可视化分析：使用t-SNE或PCA降维，观察词向量在二维空间的分布，检查类簇是否合理。

未来趋势与挑战

上下文化词向量

传统词向量（如Word2Vec）是静态的，无法处理一词多义问题。上下文化词向量（如ELMo、BERT）通过深度神经网络动态生成词向量，解决了这一痛点。例如，BERT的每个词向量会随上下文变化：

from transformers import BertModel, BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')
text = "Apple is a company. I ate an apple."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# outputs.last_hidden_state为上下文化词向量

多模态词向量

随着多模态学习的发展，词向量开始与图像、音频特征融合。例如，CLIP模型通过对比学习将文本和图像映射到同一空间，实现了跨模态检索。

伦理与偏见问题

词向量可能继承训练数据中的偏见（如性别、种族歧视）。研究显示，Word2Vec训练的词向量中，“医生”更接近“男性”，“护士”更接近“女性”。缓解方法包括：

1. 数据去偏：移除包含偏见的语料。
2. 算法修正：在训练目标中加入公平性约束。
3. 后处理：对预训练词向量进行线性变换，消除偏见方向。

结论

词向量作为自然语言处理的基础技术，其发展经历了从统计模型到深度学习的演进。当前，上下文化词向量和多模态学习是主要方向，而伦理问题也成为研究焦点。对于开发者，建议从以下方面入手：

1. 选择合适的模型：根据任务需求选择静态词向量（如GloVe）或上下文化模型（如BERT）。
2. 优化训练流程：注重数据质量和超参数调优，避免过拟合。
3. 关注前沿进展：跟踪多模态学习和伦理研究，提升模型的社会价值。

通过深入理解词向量的原理与应用，开发者可以更高效地构建自然语言处理系统，推动技术的实际落地。