CVer从0入门NLP（一）———词向量与RNN模型全解析

一、为什么CVer需要学习NLP？

计算机视觉与自然语言处理作为AI双支柱，技术栈存在显著互补性。对于CV开发者而言，掌握NLP技术可实现三大突破：

1. 多模态融合：在图像描述生成、视觉问答等任务中，需要同时处理视觉特征与文本语义
2. 算法迁移能力：注意力机制、Transformer等结构在CV领域得到广泛应用（如ViT、Swin Transformer）
3. 全栈AI开发：构建端到端AI系统（如自动驾驶中的场景理解与决策）时，NLP能力不可或缺

二、词向量：将语言转化为数学表达

2.1 传统表示方法的局限性

早期NLP采用One-Hot编码，存在三个致命缺陷：

• 高维灾难：词汇量10万时，每个词需要10万维向量
• 语义缺失：任意两词正交，无法体现”king”与”queen”的关联性
• 泛化能力差：新词出现时需扩展维度

2.2 分布式表示的突破

Word2Vec通过上下文预测实现低维稠密表示，其核心思想体现在两个模型架构中：

CBOW模型（Continuous Bag of Words）

import torch
import torch.nn as nn
class CBOW(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super().__init__()
        self.embeddings = nn.Embedding(vocab_size, embedding_dim)
        self.linear = nn.Linear(embedding_dim, vocab_size)
    def forward(self, inputs):
        # inputs: [batch_size, window_size*2]
        embeds = self.embeddings(inputs).mean(dim=1)  # 平均上下文向量
        out = self.linear(embeds)
        return out

该模型通过周围词预测中心词，适合小规模数据集。

Skip-gram模型

class SkipGram(nn.Module):
    def __init__(self, vocab_size, embedding_dim):
        super().__init__()
        self.u_embeddings = nn.Embedding(vocab_size, embedding_dim)  # 中心词
        self.v_embeddings = nn.Embedding(vocab_size, embedding_dim)  # 上下文词
    def forward(self, center_words, context_words):
        # center_words: [batch_size], context_words: [batch_size]
        u = self.u_embeddings(center_words)  # [batch_size, emb_dim]
        v = self.v_embeddings(context_words)  # [batch_size, emb_dim]
        score = torch.sum(u * v, dim=1)  # 点积计算相似度
        return score

Skip-gram在处理低频词和大规模数据时表现更优，但计算复杂度更高。

2.3 词向量优化策略

• 负采样（Negative Sampling）：将多分类问题转化为二分类，显著提升训练速度
• 子词嵌入（FastText）：通过n-gram特征处理未登录词和形态变化
• 动态词向量（ELMo）：结合上下文动态调整词表示，解决一词多义问题

三、RNN模型：处理序列数据的利器

3.1 传统神经网络的序列处理困境

前馈神经网络存在两个根本缺陷：

1. 固定长度输入：无法处理变长序列
2. 无序假设：忽略单词间的时序关系

3.2 RNN的核心机制

RNN通过隐藏状态实现信息传递，其前向传播公式为：

h_t = σ(W_hh * h_{t-1} + W_xh * x_t + b_h)
y_t = softmax(W_hy * h_t + b_y)

其中σ通常采用tanh激活函数。

PyTorch实现示例：

class SimpleRNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super().__init__()
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, hidden_size)
        self.i2o = nn.Linear(input_size + hidden_size, output_size)
    def forward(self, input, hidden):
        # input: [seq_len, batch_size, input_size]
        # hidden: [batch_size, hidden_size]
        combined = torch.cat((input, hidden.unsqueeze(0)), dim=2)
        hidden = torch.tanh(self.i2h(combined))
        output = self.i2o(combined)
        return output, hidden

3.3 梯度消失与LSTM的突破

传统RNN在长序列训练中面临梯度消失问题，LSTM通过三门控机制解决：

1. 输入门：控制新信息的流入
2. 遗忘门：决定历史信息的保留程度
3. 输出门：调节当前输出的信息量

LSTM单元实现：

class LSTMCell(nn.Module):
    def __init__(self, input_size, hidden_size):
        super().__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.i2h = nn.Linear(input_size + hidden_size, 4 * hidden_size)
    def forward(self, x, hidden):
        h_prev, c_prev = hidden
        combined = torch.cat((x, h_prev), dim=1)
        combined_gate = self.i2h(combined)
        # 解包四个门控
        ingate, forgetgate, cellgate, outgate = combined_gate.chunk(4, 1)
        ingate = torch.sigmoid(ingate)
        forgetgate = torch.sigmoid(forgetgate)
        cellgate = torch.tanh(cellgate)
        outgate = torch.sigmoid(outgate)
        c_t = (forgetgate * c_prev) + (ingate * cellgate)
        h_t = outgate * torch.tanh(c_t)
        return h_t, c_t

3.4 双向RNN与深度RNN

• 双向RNN：通过前向和后向RNN同时捕捉上下文信息
• 深度RNN：堆叠多个RNN层增强表达能力

四、工业级实践建议

4.1 词向量预训练策略

1. 领域适配：在通用词向量基础上，用领域语料进行微调
2. 维度选择：小数据集建议50-100维，大数据集可扩展至300维
3. 评估方法：使用词类比任务（king-man+woman≈queen）验证质量

4.2 RNN训练技巧

• 梯度裁剪：防止梯度爆炸，通常设置max_norm=1.0
• 学习率调度：采用余弦退火策略，初始学习率0.001
• 批归一化改进：在RNN层间加入层归一化（LayerNorm）

4.3 部署优化方向

1. 模型压缩：使用知识蒸馏将大模型压缩为轻量级版本
2. 量化技术：将FP32权重转为INT8，减少75%内存占用
3. ONNX转换：实现PyTorch到Caffe2/TensorRT的跨框架部署

五、进阶学习路径

完成本阶段学习后，建议按以下顺序深入：

1. 注意力机制：理解Self-Attention如何替代RNN
2. Transformer架构：掌握BERT、GPT等预训练模型
3. 多模态融合：实践图像-文本联合建模
4. 部署优化：学习TensorRT加速和移动端部署

本系列后续将深入解析Transformer架构及其在CV领域的创新应用，帮助读者建立完整的AI技术体系。建议读者在实践中保持”CV+NLP”的双视角，这将为解决复杂AI问题提供独特优势。