人工智能NLP—特征提取之词嵌入：从离散符号到连续向量的技术演进

一、词嵌入：NLP特征工程的基石

在自然语言处理（NLP）任务中，计算机无法直接处理文本中的离散符号（如”人工智能”、”NLP”等词汇），必须通过特征提取将其转换为数值形式。传统方法如One-Hot编码存在维度灾难（词汇表规模达百万级时）、语义信息丢失（无法表达词汇间关系）等缺陷。词嵌入（Word Embedding）技术的出现，通过将词汇映射到低维连续空间，不仅解决了维度问题，更捕捉了词汇间的语义关联，成为现代NLP系统的核心组件。

词嵌入的本质是分布式表示假设：词汇的语义由其上下文决定，相近语义的词汇在向量空间中距离更近。例如，”猫”与”狗”的向量距离应小于”猫”与”汽车”的距离。这种表示方式使得模型能够通过向量运算理解语义关系（如”国王-男人+女人≈女王”）。

二、词嵌入技术演进：从静态到动态的跨越

1. 统计模型时代：共现矩阵的降维表达

早期词嵌入基于统计共现矩阵，通过矩阵分解获取低维表示。典型方法包括：

• LSA（潜在语义分析）：对词-文档共现矩阵进行SVD分解，捕捉词汇在文档中的共现模式。但受限于高维稀疏矩阵的计算复杂度。
• PPMI（正点互信息）矩阵：通过统计词汇对共现频率与独立概率的差异，构建加权共现矩阵，再应用SVD。

代码示例（LSA实现）：

import numpy as np
from sklearn.decomposition import TruncatedSVD
# 模拟词-文档共现矩阵（行：词汇，列：文档）
co_occurrence = np.array([
    [3, 0, 1],  # 词1在文档1出现3次，文档2不出现，文档3出现1次
    [0, 2, 1],
    [1, 1, 0]
])
# SVD降维至2维
svd = TruncatedSVD(n_components=2)
embeddings = svd.fit_transform(co_occurrence)
print("LSA词向量：\n", embeddings)

2. 神经网络时代：Word2Vec与GloVe的突破

2013年，Mikolov等人提出的Word2Vec模型标志着词嵌入进入神经网络时代。其核心思想是通过滑动窗口捕捉局部上下文，分为两种架构：

• CBOW（连续词袋）：用上下文词汇预测中心词。
• Skip-Gram：用中心词预测上下文词汇（对低频词更友好）。

Word2Vec训练过程：

1. 构建滑动窗口（如窗口大小=2），提取中心词与上下文词对。
2. 通过负采样（Negative Sampling）优化目标函数：最大化正样本概率，最小化负样本概率。
3. 使用随机梯度下降更新词向量。

代码示例（Gensim库实现Word2Vec）：

from gensim.models import Word2Vec
sentences = [["人工智能", "是", "NLP", "的", "基础"],
             ["词", "嵌入", "是", "特征", "提取", "关键"]]
model = Word2Vec(sentences, vector_size=100, window=2, min_count=1, sg=1)  # sg=1表示Skip-Gram
print("'人工智能'的词向量：", model.wv["人工智能"])
print("'NLP'与'人工智能'的相似度：", model.wv.similarity("NLP", "人工智能"))

同期提出的GloVe（全局向量）模型结合了矩阵分解与神经网络的优点，通过最小化以下损失函数训练词向量：
[ J = \sum{i,j=1}^V f(X{ij}) (wi^T \tilde{w}_j + b_i + \tilde{b}_j - \log X{ij})^2 ]
其中 ( X_{ij} ) 为词 ( i ) 与 ( j ) 的共现次数，( f ) 为权重函数（平衡高频与低频词）。

3. 预训练模型时代：BERT与上下文感知

静态词嵌入（如Word2Vec）的局限性在于一词多义问题（如”苹果”指水果或公司）。2018年提出的BERT（双向编码器表示）通过预训练-微调范式，引入上下文感知的词嵌入：

• 预训练任务：Masked Language Model（随机遮盖15%的词，预测被遮盖的词）和Next Sentence Prediction（判断两句话是否连续）。
• 动态词嵌入：同一词汇在不同上下文中的向量表示不同。

代码示例（HuggingFace Transformers库使用BERT）：

from transformers import BertTokenizer, BertModel
import torch
tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
model = BertModel.from_pretrained('bert-base-chinese')
text = "人工智能NLP的特征提取依赖词嵌入技术"
inputs = tokenizer(text, return_tensors="pt")
with torch.no_grad():
    outputs = model(**inputs)
# 获取每个token的上下文嵌入（最后一层隐藏状态）
contextual_embeddings = outputs.last_hidden_state
print("'人工智能'的上下文嵌入形状：", contextual_embeddings[0, 1].shape)  # 第1个token（[CLS]）后是"人工"

三、词嵌入的应用实践与调优建议

1. 模型选型指南

模型类型	适用场景	优势	局限
Word2Vec/GloVe	资源受限、需要快速部署的场景	计算效率高，可离线使用	无法处理一词多义
BERT类模型	需要高精度、上下文敏感的任务	动态嵌入，捕捉复杂语义	计算资源消耗大，推理速度慢
FastText	需要处理未登录词（OOV）的场景	支持子词嵌入，缓解OOV问题	语义捕捉能力弱于BERT

2. 工程调优技巧

• 维度选择：静态嵌入通常选50-300维，BERT默认768维（平衡精度与计算成本）。
• 负采样数量：Word2Vec中负样本数设为5-20，过多会降低训练效率。
• 上下文窗口大小：短文本任务（如情感分析）用小窗口（2-3），长文本（如文档分类）用大窗口（5-10）。
• 领域适配：通用词嵌入（如腾讯AI Lab嵌入）在特定领域（医疗、法律）效果可能下降，建议用领域语料微调。

3. 评估方法

• 内在评估：通过词相似度任务（如WordSim-353数据集）或类比任务（”国王-男人+女人≈？”）验证词向量质量。
• 外在评估：在下游任务（如文本分类、命名实体识别）中评估词嵌入的贡献。

四、未来趋势：从词到句的连续表示

随着Transformer架构的普及，词嵌入正从词级向句级/篇章级演进。例如：

• Sentence-BERT：通过孪生网络生成句子嵌入，用于语义搜索和段落检索。
• Longformer：扩展自注意力机制，处理长文档（如论文、新闻）的嵌入。
• 多模态嵌入：结合文本与图像（如CLIP模型）、文本与音频的联合嵌入。

词嵌入技术作为NLP的”基石”，其发展历程反映了从规则到统计、再到深度学习的范式转变。未来，随着大模型与多模态学习的深入，词嵌入将进一步融合上下文、领域知识和跨模态信息，为更智能的人机交互提供支撑。