斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步

一、自然语言处理（NLP）的定义与核心挑战

自然语言处理（Natural Language Processing, NLP）是人工智能与语言学的交叉领域，旨在通过计算机算法理解、分析和生成人类语言。其核心目标包括语义理解、上下文推理和多模态交互，但面临三大挑战：

1. 语言的模糊性：同一词汇在不同语境下意义可能完全相反（如“苹果”指水果或科技公司）。
2. 语法与结构的复杂性：句子成分的嵌套关系（如从句、被动语态）需依赖上下文解析。
3. 数据稀疏性：低频词或新出现的俚语、网络用语缺乏足够训练样本。

案例：在医疗领域，NLP需从患者描述中提取症状关键词，但“头痛”可能对应生理疾病或心理压力，需结合上下文判断。

二、NLP的技术演进：从规则到深度学习

1. 规则驱动阶段（1950s-1990s）

早期NLP依赖人工编写的语法规则和词典，例如：

• 句法分析树：通过预定义的语法规则解析句子结构。
• 模式匹配：使用正则表达式提取特定模式（如日期、电话号码）。
  局限：规则无法覆盖所有语言变体，维护成本高。

2. 统计机器学习阶段（1990s-2010s）

随着计算能力提升，基于统计的方法成为主流：

• n-gram模型：通过前n个词预测下一个词（如二元语法、三元语法）。
• 隐马尔可夫模型（HMM）：用于分词、词性标注等序列任务。
• 条件随机场（CRF）：解决标注任务中的标签依赖问题。
  突破：IBM的统计翻译模型（如Model 1-5）显著提升机器翻译质量。

3. 深度学习阶段（2010s至今）

神经网络模型推动NLP进入新阶段：

• 词向量（Word Embedding）：将词汇映射为低维稠密向量，捕捉语义相似性。
• 循环神经网络（RNN）：处理序列数据，但存在梯度消失问题。
• Transformer架构：通过自注意力机制实现并行计算，成为BERT、GPT等模型的基础。

三、词向量技术：从One-Hot到动态嵌入

1. One-Hot编码的缺陷

传统One-Hot编码将每个词表示为独热向量（如“猫”=[1,0,0]，“狗”=[0,1,0]），存在两大问题：

• 维度灾难：词汇量增大时，向量维度线性增长。
• 语义缺失：任意两个词的向量正交，无法反映语义关联。

2. 词向量的核心思想

词向量（Word Embedding）通过神经网络将词汇映射到连续空间，使语义相近的词在向量空间中距离更近。例如：

• 词类比任务：vec(“国王”) - vec(“男人”) + vec(“女人”) ≈ vec(“女王”)。
• 聚类分析：同义词（如“快乐”“愉快”）在向量空间中形成簇。

3. 经典词向量模型

（1）Word2Vec

• Skip-Gram模型：通过中心词预测上下文词（如“猫”预测“喜欢”“吃”）。
• CBOW模型：通过上下文词预测中心词（如“喜欢”“吃”预测“猫”）。
  代码示例（使用Gensim库训练Word2Vec）：

  from gensim.models import Word2Vec
  sentences = [["cat", "likes", "fish"], ["dog", "loves", "bone"]]
  model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)
  print(model.wv["cat"])  # 输出“cat”的100维向量

（2）GloVe（Global Vectors）

结合全局统计信息（词共现矩阵）和局部上下文窗口，通过最小化损失函数学习词向量：
[
J = \sum{i,j=1}^V f(X{ij}) (wi^T \tilde{w}_j + b_i + \tilde{b}_j - \log X{ij})^2
]
其中 (X{ij}) 为词i和词j的共现次数，(f(X{ij})) 为权重函数。

（3）FastText

扩展Word2Vec，引入子词（subword）信息，解决未登录词（OOV）问题：

• 子词分解：将“apple”分解为“ap”, “pp”, “pl”, “le”等子词。
• 层次softmax：加速大规模词汇的训练。

四、词向量的应用与挑战

1. 典型应用场景

• 文本分类：通过词向量加权平均得到文档向量，输入分类器。
• 信息检索：计算查询词与文档词的余弦相似度。
• 机器翻译：作为编码器-解码器架构的输入表示。

2. 当前挑战与研究方向

• 多义词问题：同一词在不同语境下意义不同（如“bank”指银行或河岸）。
• 动态词向量：结合上下文调整词向量（如ELMo、BERT）。
• 低资源语言：缺乏标注数据时如何学习有效词向量。

五、实践建议：如何高效学习词向量

1. 从简单模型入手：先掌握Word2Vec原理，再逐步学习GloVe、FastText。
2. 可视化分析：使用PCA或t-SNE降维，观察词向量在二维空间的分布。
3. 结合具体任务：在文本分类、情感分析等任务中验证词向量效果。
4. 关注最新研究：阅读ACL、EMNLP等顶会论文，了解动态词向量进展。

结语

斯坦福NLP课程第1讲通过系统梳理NLP的发展脉络与词向量技术，为学习者搭建了从理论到实践的桥梁。词向量作为NLP的基础表示层，其质量直接影响下游任务的性能。未来，随着上下文感知词向量（如BERT）的普及，NLP的应用边界将进一步扩展。对于开发者而言，掌握词向量技术不仅是入门NLP的关键，更是参与前沿研究的起点。