斯坦福NLP课程第1讲：深入NLP与词向量世界

摘要

本文基于斯坦福大学NLP课程第1讲内容，系统梳理自然语言处理（NLP）的核心概念、发展历程及关键任务，重点解析词向量的理论基础、生成方法与实际应用场景。通过结合经典模型（如Word2Vec）与代码示例，帮助读者快速掌握词向量技术，为后续深入学习NLP奠定基础。

一、NLP概述：从语言到计算的桥梁

1.1 什么是NLP？

自然语言处理（Natural Language Processing, NLP）是计算机科学与人工智能的交叉领域，旨在让机器“理解”和“生成”人类语言。其核心目标包括：

• 语言理解：解析文本的语义、句法结构及上下文关系（如情感分析、命名实体识别）。
• 语言生成：根据输入生成符合语法和语义的自然语言（如机器翻译、对话系统）。

NLP的应用场景广泛，涵盖搜索引擎、智能客服、舆情分析、自动摘要等领域，已成为人工智能落地的关键技术之一。

1.2 NLP的发展历程

NLP的研究可追溯至20世纪50年代，其发展经历三个阶段：

1. 规则驱动阶段（1950s-1980s）：基于手工编写的语法规则处理语言，如句法分析树。
2. 统计学习阶段（1990s-2010s）：引入概率模型（如隐马尔可夫模型、条件随机场），依赖大规模语料库。
3. 深度学习阶段（2010s至今）：以神经网络为核心，通过词向量、Transformer等模型实现端到端学习。

1.3 NLP的核心任务

NLP任务可分为四类：

• 文本分类：如垃圾邮件检测、情感分析。
• 序列标注：如词性标注、命名实体识别。
• 结构预测：如句法分析、语义角色标注。
• 生成任务：如机器翻译、文本摘要。

二、词向量：语言的数学表示

2.1 为什么需要词向量？

传统NLP方法（如One-Hot编码）存在两大缺陷：

1. 高维稀疏：词汇表规模大时，向量维度高且绝大多数元素为0。
2. 语义缺失：无法捕捉词与词之间的相似性（如“猫”和“狗”的语义关联）。

词向量（Word Embedding）通过低维稠密向量表示词语，将语义信息编码到向量空间中，使得相似词语在向量空间中距离相近。

2.2 词向量的生成方法

2.2.1 统计模型：共现矩阵与降维

• 共现矩阵：统计词语在上下文窗口中的共现次数，构建矩阵后通过SVD等降维方法得到稠密向量。
• 局限性：计算复杂度高，难以处理大规模语料。

2.2.2 神经网络模型：Word2Vec与GloVe

• Word2Vec：

  • CBOW模型：通过上下文词语预测中心词。
  • Skip-Gram模型：通过中心词预测上下文词语。
  • 优势：效率高，可捕捉局部上下文特征。

• GloVe：

  • 结合全局共现统计与局部上下文窗口，通过最小化重构误差学习词向量。
  • 代码示例（Python）：

    import gensim.models
    # 训练Word2Vec模型
    sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]]
    model = gensim.models.Word2Vec(sentences, vector_size=100, window=5, min_count=1)
    # 获取词向量
    cat_vector = model.wv["cat"]
    print(cat_vector.shape)  # 输出: (100,)

2.3 词向量的应用场景

1. 相似度计算：通过余弦相似度衡量词义相关性。
2. 类比推理：如“国王-女王≈男人-女人”。
3. 下游任务初始化：作为预训练特征输入至RNN、Transformer等模型。

三、实践建议：如何高效学习词向量？

3.1 数据准备与预处理

• 语料库选择：优先使用领域相关数据（如医疗文本需专业语料）。
• 预处理步骤：
  • 分词与去停用词。
  • 统一大小写与标点符号。
  • 处理拼写错误与缩写。

3.2 模型调优技巧

• 超参数选择：
  • 向量维度：通常50-300维，复杂任务需更高维度。
  • 窗口大小：Skip-Gram适合小窗口（2-5），CBOW适合大窗口。
• 训练优化：
  • 使用负采样（Negative Sampling）加速训练。
  • 增加迭代次数（epochs）提升收敛效果。

3.3 评估与可视化

• 内在评估：通过词类比任务验证向量质量。
• 外在评估：在下游任务（如文本分类）中测试性能。
• 可视化工具：使用PCA或t-SNE降维后绘制词向量分布图。

四、未来展望：词向量的演进方向

1. 上下文相关词向量：如ELMo、BERT通过动态上下文生成更精准的表示。
2. 多模态融合：结合图像、音频等模态数据丰富语义信息。
3. 低资源语言支持：通过跨语言词向量迁移学习解决小语种问题。

结语

本讲从NLP的基本概念出发，系统阐述了词向量的理论基础、生成方法与实践技巧。词向量作为NLP的基石技术，其发展深刻影响了后续模型（如Transformer）的设计。建议学习者通过开源工具（如Gensim、FastText）实践词向量训练，并关注领域前沿研究以保持技术敏感度。下一讲将深入解析神经网络在NLP中的应用，敬请期待！