斯坦福NLP课程 | 第17讲 - 多任务学习（以问答系统为例）

一、多任务学习：从理论到问答系统的桥梁

多任务学习（Multi-Task Learning, MTL）的核心思想是通过共享底层参数同时训练多个相关任务，利用任务间的关联性提升模型泛化能力。在问答系统（QA System）中，这一技术可解决传统单任务模型的两大痛点：数据稀疏性（如特定领域问答数据不足）和任务偏差（如生成式回答缺乏事实约束）。

1.1 数学原理与参数共享机制

MTL的数学本质可表示为优化联合损失函数：

L_total = Σ_i λ_i * L_i(θ_shared, θ_i)

其中，θ_shared为共享参数（如BERT的Transformer层），θ_i为任务特定参数（如分类头），λ_i为任务权重。在问答系统中，共享层可提取通用语言特征（如句法、语义），而任务头分别处理答案抽取、答案验证、对话管理等子任务。

案例：在SQuAD 2.0数据集上，单任务模型（仅训练答案抽取）的F1值为78.3%，而加入答案验证任务的MTL模型（共享BERT编码器）F1值提升至81.6%，证明任务关联性可减少过拟合。

1.2 问答系统的任务分解与关联性

现代问答系统通常包含以下子任务：

• 问题理解：意图分类、实体识别
• 信息检索：文档排序、段落选择
• 答案生成：抽取式（Span Extraction）、生成式（Abstractive）
• 答案验证：事实核查、逻辑一致性检查

MTL的优势在于：共享层可捕捉跨任务的通用模式（如问题中的疑问词与答案类型的关联），而任务头可针对不同输出形式（如分类标签vs文本序列）进行优化。

二、问答系统中的MTL架构设计

2.1 硬共享（Hard Parameter Sharing）

最经典的MTL架构，所有任务共享底层编码器，顶部接多个任务特定输出层。例如：

class MTL_QA_Model(nn.Module):
    def __init__(self, bert_model):
        super().__init__()
        self.bert = bert_model
        # 任务1：答案抽取（分类头）
        self.span_head = nn.Linear(768, 2)  # 起始/结束位置
        # 任务2：答案验证（二分类）
        self.verify_head = nn.Linear(768, 1)
        # 任务3：对话状态跟踪（多标签分类）
        self.dialog_head = nn.Linear(768, 10)  # 假设10种状态
    def forward(self, input_ids, attention_mask):
        outputs = self.bert(input_ids, attention_mask)
        pooled = outputs.pooler_output
        # 多任务输出
        span_logits = self.span_head(pooled)
        verify_logits = self.verify_head(pooled)
        dialog_logits = self.dialog_head(pooled)
        return span_logits, verify_logits, dialog_logits

优势：参数效率高，适合任务间高度相关的情况（如问答与信息检索）。

2.2 软共享（Soft Parameter Sharing）

通过正则化约束任务参数的相似性，而非直接共享。例如：

# 任务1和任务2的编码器参数通过L2距离约束
loss = task1_loss + task2_loss + γ * ||θ1 - θ2||^2

适用场景：任务间关联性较弱但需避免灾难性遗忘（如跨语言问答）。

2.3 动态权重分配

传统MTL中固定权重λ_i可能导致次优解。动态权重方法（如GradNorm）可根据任务梯度幅度自动调整权重：

λ_i(t) ∝ 1 / (mean(||∇θ_i L_i||) / mean(||∇θ_shared L_total||))

实验结果：在CoQA对话问答数据集上，动态权重MTL模型比固定权重模型的EM值高2.1%。

三、实践案例：工业级问答系统的MTL优化

3.1 医疗问答系统的多任务优化

某医疗问答平台面临数据稀疏（罕见病问答样本少）和答案可靠性（需引用医学文献）的挑战。其MTL方案如下：

• 共享层：BioBERT（预训练于医学文献）
• 任务1：答案抽取（Span Extraction）
• 任务2：证据引用（从文献中抽取支持句）
• 任务3：风险评估（判断回答是否可能误导患者）

效果：

• 罕见病问答的准确率从62%提升至75%
• 答案可解释性（引用文献比例）从40%提升至89%

3.2 电商客服系统的MTL架构

某电商平台需同时处理商品咨询、退换货请求、投诉处理三类问答。其MTL模型设计：

• 共享层：RoBERTa-large
• 任务1：意图分类（3类）
• 任务2：实体识别（商品ID、订单号等）
• 任务3：回复生成（基于模板的填充式生成）

优化技巧：

• 对任务3的生成损失应用标签平滑（Label Smoothing），减少过拟合
• 使用渐进式冻结（Progressive Unfreezing）：先训练共享层，再逐步解冻任务头

四、挑战与解决方案

4.1 负迁移（Negative Transfer）

当任务间关联性弱时，共享参数可能损害性能。解决方案：

• 任务分组：通过相关性分析（如CCA）将任务分为高关联组和低关联组

• 门控机制：在共享层后加入任务特定门控（Task-Specific Gating），动态调整特征流：

  class GatedMTL(nn.Module):
    def __init__(self, bert_model):
        super().__init__()
        self.bert = bert_model
        self.gate1 = nn.Linear(768, 1)  # 任务1的门控
        self.gate2 = nn.Linear(768, 1)  # 任务2的门控
        # ...其他任务头
    def forward(self, input_ids):
        outputs = self.bert(input_ids)
        pooled = outputs.pooler_output
        # 动态门控
        gate1 = torch.sigmoid(self.gate1(pooled))
        gate2 = torch.sigmoid(self.gate2(pooled))
        # 任务1特征：gate1 * pooled
        # 任务2特征：gate2 * pooled
        # ...

4.2 数据不平衡

不同任务的数据量可能差异巨大（如主任务有10万样本，辅助任务仅1千样本）。解决方案：

• 重加权：根据样本量调整损失权重（如λ_i ∝ 1 / sqrt(N_i)）
• 数据增强：对小数据量任务进行回译（Back Translation）或同义词替换

五、对开发者的实用建议

1. 任务关联性分析：使用t-SNE可视化任务特征的相似性，避免强行组合无关任务
2. 渐进式实验：先验证单任务基线，再逐步加入辅助任务（如先加答案验证，再加对话管理）
3. 监控指标：除主任务指标（如F1）外，需跟踪共享层的梯度范数（防止梯度消失/爆炸）
4. 部署优化：对MTL模型进行知识蒸馏（如用大MTL模型教小单任务模型），减少推理延迟

六、未来方向

1. 跨模态MTL：结合文本、图像、语音的多模态问答（如VQA任务）
2. 终身学习MTL：在持续学习场景下，避免新任务对旧任务的灾难性遗忘
3. 神经架构搜索（NAS）：自动搜索最优的MTL架构（如共享层数、任务头类型）

多任务学习为问答系统提供了强大的范式，通过合理设计任务组合与共享机制，可显著提升模型在数据稀缺和复杂场景下的性能。开发者需结合具体业务需求，平衡参数效率与任务关联性，方能实现最优效果。