斯坦福NLP课程 | 第2讲 - 词向量进阶

一、课程背景与目标

在自然语言处理（NLP）领域，词向量（Word Embeddings）作为将离散的词汇映射到连续向量空间的技术，已成为构建智能语言模型的基础。斯坦福大学NLP课程第2讲“词向量进阶”，旨在深入探讨词向量的高级特性、训练方法以及应用场景，帮助学习者掌握从基础到进阶的词向量技术。本讲内容不仅覆盖了传统词向量模型（如Word2Vec）的优化，还引入了最新的预训练语言模型（如BERT）中的词向量表示方法，为后续的NLP任务打下坚实基础。

二、词向量基础回顾

2.1 词向量的定义与作用

词向量是将词汇映射到低维实数向量的技术，每个向量维度代表词汇的某种语义或语法特征。通过词向量，计算机能够理解词汇之间的相似性、关联性，进而进行文本分类、情感分析、机器翻译等任务。

2.2 传统词向量模型：Word2Vec

Word2Vec是词向量技术的里程碑，它通过两种架构（CBOW和Skip-gram）训练词向量。CBOW根据上下文词汇预测中心词，而Skip-gram则相反，根据中心词预测上下文词汇。两者均通过最大化似然函数来优化词向量，使得语义相近的词在向量空间中距离较近。

三、词向量进阶：优化与扩展

3.1 GloVe模型：全局向量表示

GloVe（Global Vectors for Word Representation）结合了全局矩阵分解和局部上下文窗口的优点，通过最小化共现矩阵中词对预测误差来训练词向量。GloVe不仅考虑了局部上下文信息，还利用了全局统计信息，使得词向量在捕捉词汇语义关系方面更为准确。

代码示例（简化版GloVe训练过程）：

import numpy as np
from collections import defaultdict
# 假设我们有一个共现矩阵co_occurrence
co_occurrence = defaultdict(lambda: defaultdict(float))
# 模拟填充共现矩阵（实际应用中需从语料库统计）
words = ["king", "queen", "man", "woman"]
for w1 in words:
    for w2 in words:
        if w1 != w2:
            co_occurrence[w1][w2] = np.random.rand()  # 随机填充，实际应统计共现次数
# GloVe目标函数简化（实际需迭代优化）
def glove_loss(W, b, co_occurrence):
    loss = 0
    for w1 in co_occurrence:
        for w2 in co_occurrence[w1]:
            xij = co_occurrence[w1][w2]
            if xij > 0:
                wi, wj = W[w1], W[w2]
                bi, bj = b[w1], b[w2]
                loss += (wi.dot(wj) + bi + bj - np.log(xij))**2
    return loss
# 初始化词向量和偏置项
W = {word: np.random.randn(100) for word in words}  # 100维词向量
b = {word: np.random.randn() for word in words}
# 实际应用中需使用优化器（如SGD）迭代最小化loss

3.2 FastText：子词信息融入

FastText在Word2Vec基础上引入了子词（subword）信息，通过将词汇拆分为字符n-gram（如“apple”拆分为“ap”, “pp”, “pl”, “le”等），并将这些n-gram的向量求和作为词汇的向量表示。这种方法使得FastText能够处理未登录词（OOV），并提升了词向量的泛化能力。

3.3 预训练语言模型中的词向量

随着预训练语言模型（如BERT、GPT）的兴起，词向量的表示方式发生了革命性变化。这些模型通过大规模无监督学习，捕捉了词汇在上下文中的动态表示，即同一词汇在不同语境下有不同的向量表示。这种上下文相关的词向量（Contextualized Word Embeddings）极大地提升了NLP任务的性能。

四、词向量的评估与应用

4.1 词向量评估方法

词向量的评估通常分为内在评估（Intrinsic Evaluation）和外在评估（Extrinsic Evaluation）。内在评估通过词向量间的相似度、类比任务等直接评估词向量的质量；外在评估则通过将词向量应用于下游NLP任务（如文本分类、命名实体识别）来间接评估其效果。

4.2 词向量在实际NLP任务中的应用

词向量作为NLP任务的输入特征，广泛应用于文本分类、情感分析、机器翻译、问答系统等领域。例如，在文本分类任务中，通过将文本中的词汇替换为对应的词向量，并输入到神经网络中进行分类，可以显著提升分类准确率。

五、课程总结与启示

斯坦福NLP课程第2讲“词向量进阶”不仅回顾了词向量的基础技术，还深入探讨了词向量的优化方法（如GloVe、FastText）以及预训练语言模型中的词向量表示。通过学习本讲内容，学习者可以：

• 深入理解词向量的原理与应用；
• 掌握词向量的优化与扩展技术；
• 了解词向量在NLP任务中的评估与应用方法。

对于开发者而言，掌握词向量技术不仅有助于提升NLP任务的性能，还能为构建更智能、更高效的语言处理系统提供有力支持。未来，随着深度学习技术的不断发展，词向量技术将在更多领域发挥重要作用，成为推动NLP技术进步的关键力量。