斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步

一、自然语言处理（NLP）的学科定位与技术挑战

1.1 NLP的跨学科属性

自然语言处理是人工智能领域中连接语言学与计算机科学的桥梁学科。其核心目标在于实现计算机对人类语言的理解与生成，这一过程涉及语音识别、文本分析、机器翻译、情感计算等多个子领域。例如，在智能客服场景中，系统需同时处理语音输入（语音识别）、意图解析（语义理解）和文本生成（应答输出），体现了NLP的多模态特性。

1.2 技术实现的三层抽象

斯坦福课程将NLP技术实现划分为三个层次：

• 符号层：基于规则的语法分析，如上下文无关文法（CFG）
• 统计层：利用概率模型处理不确定性，如n-gram语言模型
• 神经网络层：通过深度学习捕捉语义特征，如Transformer架构

典型案例：早期机器翻译系统依赖符号层规则，而现代神经机器翻译（NMT）通过编码器-解码器结构实现端到端学习，BLEU评分从规则系统的20分提升至神经网络的40分以上。

1.3 核心挑战与突破路径

课程指出NLP面临的三大挑战：

1. 词汇歧义：如”bank”既可指金融机构也可指河岸
2. 句法复杂性：长距离依赖关系（如嵌套从句）
3. 语义隐含：反讽、隐喻等修辞手法

突破路径包括：

• 引入外部知识图谱增强语义理解
• 采用注意力机制捕捉长距离依赖
• 通过预训练模型（如BERT）学习通用语言表示

二、词向量：从离散符号到连续空间的革命

2.1 传统词表示方法的局限性

早期NLP系统采用独热编码（One-Hot）表示词汇，存在两个致命缺陷：

• 维度灾难：词汇量10万时需10万维向量
• 语义缺失：任意两词的正交性无法表达相似度

示例：在情感分析任务中，独热编码无法区分”good”与”excellent”的语义差异。

2.2 分布式词向量的数学本质

分布式假设（Distributed Hypothesis）指出：语义相似的词倾向于出现在相似语境中。基于此，词向量通过低维稠密向量编码语义特征，典型维度为50-300维。

数学表达：给定语料库$D$，词向量模型学习映射函数$f: w \rightarrow \mathbb{R}^d$，使得$cos(\vec{v}{king}, \vec{v}{queen}) \approx cos(\vec{v}{man}, \vec{v}{woman})$

2.3 主流词向量模型解析

2.3.1 Word2Vec：跳字模型与连续词袋模型

• Skip-Gram：通过中心词预测上下文

  # 伪代码示例
  for center_word in sentence:
      for context_word in window(center_word):
          update_weights(center_word, context_word)

• CBOW：通过上下文预测中心词
  实验表明，Skip-Gram在稀疏词处理上表现更优，而CBOW训练速度更快。

2.3.2 GloVe：全局矩阵分解与局部窗口的结合

GloVe通过最小化共现矩阵的对数概率比来学习词向量：
$<br>J = \sum<em>{i,j=1}^V f(X</em>{ij}) (w<em>i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X</em>{ij})^2<br>$
其中$X_{ij}$为词$i$和$j$的共现次数，$f$为权重函数。

2.3.3 预训练词向量的评估方法

课程介绍了两种评估方式：

• 内在评估：词类比任务（如”king - man + woman ≈ queen”）
• 外在评估：在下游任务（如文本分类）中的性能

实验数据显示，预训练词向量可使文本分类准确率提升8-15个百分点。

三、实践建议与进阶方向

3.1 词向量应用的最佳实践

1. 领域适配：通用词向量（如Google News的Word2Vec）在特定领域（医疗、法律）效果下降，建议微调或重新训练
2. 维度选择：中小型语料库推荐50-100维，大型语料库可用300维
3. 超参数调优：窗口大小通常设为5-10，负采样数取5-20

3.2 词向量技术的演进趋势

1. 上下文化词向量：ELMo、BERT等模型通过动态词表示解决一词多义问题
2. 多语言词向量：MUSE框架实现跨语言词向量对齐
3. 知识增强词向量：结合实体链接的ERNIE模型

3.3 开发者入门路径

1. 工具选择：
   • 快速原型：Gensim库
   • 生产环境：FastText（支持子词嵌入）
2. 数据准备：
   • 清洗：去除低频词（频次<5）
   • 标准化：统一大小写、处理标点
3. 可视化分析：

   # 使用PCA降维可视化
   from sklearn.decomposition import PCA
   import matplotlib.pyplot as plt
   pca = PCA(n_components=2)
   vectors_2d = pca.fit_transform(word_vectors)
   plt.scatter(vectors_2d[:,0], vectors_2d[:,1])

四、课程总结与展望

本讲系统梳理了NLP的学科框架与词向量技术演进，揭示了从符号处理到深度学习的范式转变。关键启示包括：

1. 语义表示是NLP的核心问题
2. 分布式词向量开启了数据驱动的新时代
3. 预训练-微调模式成为主流范式

后续课程将深入探讨注意力机制、Transformer架构等前沿技术。建议学习者同步实践以下内容：

• 复现Word2Vec/GloVe算法
• 在公开数据集（如IMDB影评）上测试词向量效果
• 尝试用词向量解决简单NLP任务（如文本相似度计算）

通过理论学习与实践结合，可逐步构建完整的NLP技术体系。