NLP教程(6) - 神经机器翻译、seq2seq与注意力机制

一、神经机器翻译（NMT）的技术演进

神经机器翻译（Neural Machine Translation, NMT）是自然语言处理（NLP）领域的里程碑式突破。传统统计机器翻译（SMT）依赖词表对齐和n-gram统计，而NMT通过端到端的神经网络直接建模源语言到目标语言的映射关系，显著提升了翻译质量。

1.1 从规则到神经网络的范式转变

早期机器翻译系统依赖规则库和统计模型，例如IBM的词对齐模型。2014年，Kalchbrenner和Blunsom提出卷积序列到序列（ConvS2S）模型，首次将深度学习应用于翻译任务。同年，Sutskever等人提出基于循环神经网络（RNN）的seq2seq架构，成为NMT的主流框架。

1.2 NMT的核心优势

• 端到端学习：无需人工设计特征，直接优化翻译概率。
• 上下文感知：通过隐藏状态捕捉长距离依赖关系。
• 参数共享：同一网络处理不同语言对，降低模型复杂度。

二、seq2seq模型架构详解

seq2seq（Sequence-to-Sequence）是NMT的核心框架，由编码器（Encoder）和解码器（Decoder）组成，适用于输入输出长度可变的序列任务。

2.1 编码器-解码器结构

编码器：将源语言句子（如英语）编码为固定维度的上下文向量（Context Vector）。例如，使用双向LSTM处理输入序列：

import tensorflow as tf
from tensorflow.keras.layers import LSTM, Dense
# 编码器示例
encoder_inputs = tf.keras.Input(shape=(None,))  # 输入序列长度可变
encoder = LSTM(256, return_state=True)  # 256维隐藏状态
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# 仅保留最后一步的隐藏状态作为上下文
context_vector = [state_h, state_c]

解码器：以编码器的上下文向量为初始状态，逐步生成目标语言（如中文）的每个单词：

# 解码器示例
decoder_inputs = tf.keras.Input(shape=(None,))
decoder_lstm = LSTM(256, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=context_vector)
decoder_dense = Dense(vocab_size, activation='softmax')  # 输出词汇表概率
decoder_outputs = decoder_dense(decoder_outputs)

2.2 传统seq2seq的局限性

• 信息瓶颈：上下文向量需压缩整个输入序列的信息，长序列易丢失细节。
• 固定对齐：解码时无法动态关注输入序列的不同部分。

三、注意力机制：动态对齐的突破

注意力机制（Attention Mechanism）通过解码时动态计算输入序列各部分的权重，解决了传统seq2seq的信息瓶颈问题。

3.1 注意力计算流程

1. 计算相关性分数：解码器当前状态与编码器所有隐藏状态计算相似度。

   # 计算注意力分数（点积注意力）
   def attention_score(query, key):
       return tf.reduce_sum(query * key, axis=-1)
   # query: 解码器当前状态 (1, 256)
   # keys: 编码器所有隐藏状态 (seq_len, 256)
   scores = [attention_score(query, key) for key in encoder_hidden_states]

2. 归一化为权重：通过softmax得到概率分布。

   attention_weights = tf.nn.softmax(tf.stack(scores, axis=0), axis=0)

3. 加权求和：生成上下文向量。

   context_vector = tf.reduce_sum(
       tf.stack(encoder_hidden_states, axis=0) * 
       tf.expand_dims(attention_weights, axis=-1), 
       axis=0
   )

3.2 自注意力与Transformer

2017年，Vaswani等人提出Transformer架构，完全摒弃RNN，通过自注意力（Self-Attention）实现并行计算：

• 多头注意力：并行计算多个注意力子空间，捕捉不同特征。

  # 多头注意力示例（简化版）
  class MultiHeadAttention(tf.keras.layers.Layer):
      def __init__(self, num_heads=8, key_dim=64):
          super().__init__()
          self.num_heads = num_heads
          self.key_dim = key_dim
          self.attention = tf.keras.layers.Attention()
      def call(self, queries, keys, values):
          # 分割多头
          queries = tf.split(queries, self.num_heads, axis=-1)
          keys = tf.split(keys, self.num_heads, axis=-1)
          values = tf.split(values, self.num_heads, axis=-1)
          # 并行计算注意力
          outputs = [self.attention(q, k, v) for q, k, v in zip(queries, keys, values)]
          # 合并结果
          return tf.concat(outputs, axis=-1)

• 位置编码：通过正弦函数注入序列顺序信息。

四、工程实践：从模型到部署

4.1 训练技巧

• 教师强制（Teacher Forcing）：解码时使用真实前缀而非模型预测，稳定训练。
• 标签平滑：避免模型过度自信，提升泛化能力。
• 学习率调度：使用余弦退火或Noam优化器。

4.2 部署优化

• 量化压缩：将FP32权重转为INT8，减少模型体积。
• 知识蒸馏：用大模型指导小模型训练，平衡速度与质量。
• 动态批处理：根据序列长度动态分组，提升GPU利用率。

五、未来方向与挑战

1. 低资源翻译：通过无监督学习或跨语言迁移提升小语种性能。
2. 长文本处理：结合稀疏注意力或分块策略处理超长序列。
3. 多模态翻译：融入图像或语音信息，提升上下文理解能力。

总结

神经机器翻译通过seq2seq架构与注意力机制实现了从统计方法到神经网络的跨越。开发者需掌握编码器-解码器设计、注意力计算细节，并结合工程优化技巧提升模型性能。未来，NMT将向更高效、更通用的方向演进，为跨语言交流提供更强支持。