NLP教程(2)：深入GloVe与词向量实战指南

一、GloVe模型核心原理

1.1 全局统计与局部窗口的融合

GloVe（Global Vectors for Word Representation）的核心创新在于结合全局矩阵分解（如LSA）和局部上下文窗口（如Word2Vec）的优势。其通过构建全局共现矩阵（统计词对在语料库中共同出现的次数），将词向量学习转化为对数双线性回归问题。与Word2Vec仅依赖局部窗口不同，GloVe利用整个语料库的统计信息，捕捉词间关系的全局模式。

1.2 损失函数设计

GloVe的损失函数定义为：
[
J = \sum{i,j=1}^V f(X{ij}) \left( wi^T \tilde{w}_j + b_i + \tilde{b}_j - \log X{ij} \right)^2
]
其中，(X{ij})表示词(i)与词(j)的共现次数，(w_i)和(\tilde{w}_j)分别为目标词和上下文词的向量，(b_i)和(\tilde{b}_j)为偏置项。权重函数(f(X{ij}))采用分段函数：
[
f(x) =
\begin{cases}
(\frac{x}{x{\text{max}}})^\alpha & \text{if } x < x{\text{max}} \
1 & \text{otherwise}
\end{cases}
]
该设计通过抑制低频词对（如只共现1次的词对）的噪声，同时保留高频词对的关键信息，平衡了统计显著性与计算效率。

1.3 与Word2Vec的对比

维度	GloVe	Word2Vec（Skip-gram）
数据利用	全局共现矩阵	局部滑动窗口
训练目标	最小化预测共现概率的误差	最大化上下文词的条件概率
优势	捕捉长距离依赖，适合小语料库	生成更丰富的局部语义表示

二、词向量训练全流程

2.1 数据预处理关键步骤

1. 语料清洗：去除HTML标签、特殊符号、停用词（如“的”、“是”），统一大小写。
2. 分词与词频统计：使用中文分词工具（如Jieba）或英文空格分词，统计词频并过滤低频词（如频次<5的词）。
3. 构建共现矩阵：设置窗口大小（通常5-10），统计每个词对在窗口内的共现次数。例如，对于句子“自然语言处理很有趣”，窗口大小为2时，“自然”与“语言”共现1次。

2.2 GloVe模型实现代码（Python示例）

import numpy as np
from collections import defaultdict
class GloVe:
    def __init__(self, vocab_size, embedding_dim, window_size=5, x_max=100, alpha=0.75):
        self.W = np.random.randn(vocab_size, embedding_dim) * 0.01  # 目标词向量
        self.W_tilde = np.random.randn(vocab_size, embedding_dim) * 0.01  # 上下文词向量
        self.b = np.zeros(vocab_size)  # 目标词偏置
        self.b_tilde = np.zeros(vocab_size)  # 上下文词偏置
        self.window_size = window_size
        self.x_max = x_max
        self.alpha = alpha
    def weight_func(self, x):
        return (x / self.x_max) ** self.alpha if x < self.x_max else 1
    def train(self, cooccurrence_matrix, epochs=10, learning_rate=0.05):
        for epoch in range(epochs):
            loss = 0
            for i in range(cooccurrence_matrix.shape[0]):
                for j in range(cooccurrence_matrix.shape[1]):
                    X_ij = cooccurrence_matrix[i, j]
                    if X_ij == 0:
                        continue
                    # 计算预测值与真实值的误差
                    prediction = np.dot(self.W[i], self.W_tilde[j]) + self.b[i] + self.b_tilde[j]
                    error = prediction - np.log(X_ij)
                    # 计算权重
                    weight = self.weight_func(X_ij)
                    # 更新参数
                    self.W[i] -= learning_rate * weight * error * self.W_tilde[j]
                    self.W_tilde[j] -= learning_rate * weight * error * self.W[i]
                    self.b[i] -= learning_rate * weight * error
                    self.b_tilde[j] -= learning_rate * weight * error
                    loss += weight * error ** 2
            print(f"Epoch {epoch+1}, Loss: {loss / np.sum(cooccurrence_matrix > 0)}")
    def get_embeddings(self):
        return (self.W + self.W_tilde) / 2  # 合并目标词与上下文词向量

2.3 超参数调优策略

1. 窗口大小：小窗口（如2-3）侧重局部语法，大窗口（如8-10）捕捉全局语义。建议根据任务类型选择（如词性标注用小窗口，文本分类用大窗口）。
2. 向量维度：通常32-300维，低维适合简单任务（如情感分析），高维适合复杂任务（如机器翻译）。
3. 迭代次数：通过验证集损失监控收敛，避免过拟合（如损失不再下降时停止）。

三、词向量评估方法论

3.1 内在评估：语义相似度任务

1. 词类比任务：测试向量运算的合理性，如“国王-男人+女人≈女王”。使用Spearman相关系数评估模型排名与真实排名的相关性。
2. 相似度评分：计算词向量间的余弦相似度，与人工标注的相似度分数对比。常用数据集包括WordSim-353、SimLex-999。

3.2 外在评估：下游任务性能

1. 文本分类：将词向量作为特征输入分类器（如SVM、CNN），评估准确率、F1值。
2. 命名实体识别：观察词向量对实体边界的识别能力，如“苹果公司”与“苹果水果”的区分。

3.3 可视化分析：降维与聚类

1. PCA/t-SNE降维：将高维词向量投影至2D/3D空间，观察语义簇（如动物、植物、数字的分布）。
2. K-means聚类：验证词向量是否按语义分组，如“汽车”、“卡车”、“自行车”聚为一类。

四、实战案例：基于GloVe的文本分类

4.1 数据准备

使用IMDB电影评论数据集，预处理后构建共现矩阵（窗口大小=5，最小词频=10）。

4.2 模型训练与评估

1. 训练GloVe模型（维度=100，迭代=20次），得到词向量。
2. 将评论中的词向量取平均，作为文档表示。
3. 输入逻辑回归分类器，测试集准确率达82.3%，优于随机初始化的76.1%。

4.3 结果分析

通过词向量可视化发现，“精彩”、“无聊”等情感词在空间中明显分离，验证了GloVe对情感语义的捕捉能力。

五、常见问题与解决方案

1. 低频词处理：通过子词单元（如FastText）或上下文增强（如ELMo）缓解数据稀疏问题。
2. 多义词问题：结合上下文动态词向量（如BERT）或领域适配（如医疗词向量专项训练）。
3. 计算效率：使用稀疏矩阵存储共现矩阵，并行化更新参数（如GPU加速）。

六、总结与展望

GloVe通过全局统计与局部优化的结合，为词向量训练提供了高效且可解释的方案。未来方向包括：

1. 跨语言词向量：利用多语言语料训练通用词向量，支持机器翻译。
2. 动态词向量：结合上下文生成任务特定的词表示（如BERT的上下文嵌入）。
3. 少样本学习：通过元学习优化小样本场景下的词向量初始化。

开发者可通过调整超参数、结合领域知识，进一步提升词向量在具体任务中的性能。