一、为什么CVer需要掌握NLP基础？

在多模态AI与跨模态学习成为主流的当下，CV与NLP的融合已成为技术突破的关键路径。例如，图像描述生成（Image Captioning）、视觉问答（VQA）等任务均需同时理解视觉与语言信息。对于CV开发者而言，掌握NLP核心模型（如词向量、RNN）不仅能拓展技术边界，还能为参与跨模态项目奠定基础。

二、词向量：从离散符号到连续向量的革命

1. 传统NLP的局限性

早期NLP依赖离散符号表示（如One-Hot编码），存在两大缺陷：

• 维度灾难：词汇量10万时，One-Hot向量维度达10万维，且99.99%元素为0。
• 语义缺失：无法捕捉词语间的语义关系（如“猫”与“狗”的相似性）。

2. 词向量的核心思想

词向量（Word Embedding）将每个词映射为低维稠密向量（通常50-300维），使得语义相似的词在向量空间中距离相近。其数学本质是学习一个映射函数：
[ \text{Word} \rightarrow \mathbb{R}^d ]
其中 ( d ) 为向量维度。

3. 主流词向量模型

（1）Word2Vec（Skip-Gram与CBOW）

• Skip-Gram：通过中心词预测上下文词。例如给定“猫”，预测其周围词“喜欢”“吃”“鱼”。
• CBOW：通过上下文词预测中心词。例如用“喜欢”“吃”“鱼”预测“猫”。
• PyTorch实现示例：
  ```python
  import torch
  import torch.nn as nn
  import torch.optim as optim

class SkipGram(nn.Module):
def init(self, vocabsize, embeddingdim):
super().__init()
self.embeddings = nn.Embedding(vocab_size, embedding_dim)
self.linear = nn.Linear(embedding_dim, vocab_size)

def forward(self, x):
    embeds = self.embeddings(x)  # [batch_size, embedding_dim]
    out = self.linear(embeds)     # [batch_size, vocab_size]
    return out

训练逻辑（需配合负采样或层次softmax）

##### （2）GloVe（全局向量）
- **核心思想**：结合全局词频统计与局部上下文窗口，通过最小化以下损失函数学习词向量：
\[ J = \sum_{i,j=1}^V f(X_{ij}) (w_i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij})^2 \]
其中 \( X_{ij} \) 为词 \( i \) 和 \( j \) 的共现次数，\( f \) 为权重函数。
#### 4. 词向量的应用场景
- **文本分类**：将词向量平均或加权求和作为句子表示。
- **语义相似度计算**：通过余弦相似度衡量词或句子的语义接近程度。
- **下游任务初始化**：作为预训练权重初始化更复杂的NLP模型。
### 三、RNN模型：处理序列数据的利器
#### 1. 为什么需要RNN？
传统前馈神经网络（如CNN）无法处理变长序列数据（如句子、时间序列）。RNN通过引入**循环结构**，保留历史信息并动态更新隐藏状态：
\[ h_t = f(W_{hh} h_{t-1} + W_{xh} x_t + b) \]
其中 \( h_t \) 为时刻 \( t \) 的隐藏状态，\( x_t \) 为输入。
#### 2. RNN的变体与改进
##### （1）基础RNN的缺陷
- **梯度消失/爆炸**：长序列训练时，梯度可能指数级衰减或增长。
- **记忆能力有限**：难以捕捉长期依赖关系。
##### （2）LSTM（长短期记忆网络）
- **核心组件**：
  - **输入门**：控制新信息的流入。
  - **遗忘门**：决定哪些旧信息被丢弃。
  - **输出门**：控制隐藏状态的输出。
- **数学表达**：
\[ f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \]
\[ i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \]
\[ \tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \]
\[ C_t = f_t * C_{t-1} + i_t * \tilde{C}_t \]
\[ o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \]
\[ h_t = o_t * \tanh(C_t) \]
##### （3）GRU（门控循环单元）
- **简化LSTM**：合并细胞状态与隐藏状态，仅保留**重置门**和**更新门**。
- **优势**：参数更少，训练更快，适合轻量级任务。
#### 3. RNN的典型应用
##### （1）文本生成
- **任务描述**：给定前文（如“今天天气”），预测下一个词（如“很好”）。
- **PyTorch实现示例**：
```python
class RNNModel(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.rnn = nn.LSTM(embedding_dim, hidden_dim)
        self.fc = nn.Linear(hidden_dim, vocab_size)
    def forward(self, x, hidden):
        embeds = self.embedding(x)  # [seq_len, batch_size, embedding_dim]
        out, hidden = self.rnn(embeds, hidden)
        out = self.fc(out)          # [seq_len, batch_size, vocab_size]
        return out, hidden
# 训练时需处理变长序列，并采用教师强制（Teacher Forcing）

（2）序列标注

• 任务描述：为序列中的每个元素分配标签（如词性标注）。
• 关键点：输出层需与输入序列对齐，通常采用CRF（条件随机场）增强标签一致性。

四、CVer转型NLP的实践建议

1. 从词向量调试开始：使用预训练词向量（如GloVe）快速验证NLP任务可行性。
2. 选择合适的RNN变体：
   • 短序列任务：基础RNN或GRU。
   • 长序列任务：LSTM或Transformer（后续文章详解）。
3. 利用CV经验优化训练：
   • 批量归一化（BatchNorm）加速收敛。
   • 学习率调度（如CosineAnnealingLR）。
4. 关注跨模态任务：尝试将CV特征（如ResNet输出）与RNN隐藏状态融合。

五、总结与展望

本文系统梳理了词向量与RNN模型的核心原理，并通过代码示例展示了其工程实现。对于CVer而言，掌握这些技术不仅能提升个人竞争力，还能为参与多模态AI项目奠定基础。后续文章将深入探讨Transformer架构与预训练语言模型（如BERT、GPT），敬请期待！