斯坦福NLP课程 | 第15讲 - NLP文本生成任务

一、课程核心定位：文本生成任务的本质与挑战

斯坦福NLP课程第15讲以”NLP文本生成任务”为核心，旨在揭示自然语言生成（NLG）的技术本质与工程实践。文本生成是NLP领域最具挑战性的任务之一，其核心目标是通过算法模型自动生成符合人类语言习惯的文本内容，涵盖从简单句子到复杂篇章的多个层次。课程指出，文本生成任务的本质是”概率建模与语言约束的平衡”——模型需在统计概率与语法语义规则之间找到最优解。

课程强调，文本生成面临三大核心挑战：

1. 语言多样性：同一语义可对应多种表达方式（如”今天天气很好”与”今日气候宜人”），模型需捕捉这种多对一映射关系。
2. 上下文依赖性：长文本生成需维护跨句级的语义连贯性，例如在故事生成中保持角色行为的一致性。
3. 评估主观性：缺乏如分类任务般明确的正确性标准，需设计多维度评估指标（如流畅度、信息量、创造性）。

二、技术框架解析：从规则到深度学习的演进

1. 早期方法：模板与规则驱动

课程回顾了文本生成的早期技术路径，包括：

• 模板填充法：预定义文本骨架，通过变量替换生成内容（如天气预报模板：”今日{城市}最高气温{温度}℃”）。
• 语法驱动生成：基于上下文无关文法（CFG）构建句法树，通过规则组合生成句子。

局限性分析：模板法缺乏灵活性，语法驱动法难以处理复杂语义。例如，生成”苹果公司推出新款手机”时，模板法需预先定义所有产品类别，而语法驱动法可能生成”苹果推出公司新款”等病句。

2. 统计机器翻译（SMT）的启示

课程指出，早期文本生成技术受统计机器翻译（SMT）影响显著。SMT通过词对齐模型（如IBM Model）学习源语言到目标语言的映射，其”翻译即生成”的思路为文本生成提供了重要参考。例如，在数据到文本生成（Data-to-Text）任务中，可将结构化数据视为”源语言”，文本视为”目标语言”。

关键技术突破：

• n-gram语言模型：通过计算n元组概率预测下一个词（如trigram模型P(w3|w1,w2)）。
• 对数线性模型：结合特征函数（如词频、句法特征）进行加权求和，通过最大熵原理优化参数。

3. 深度学习时代的范式变革

课程重点解析了神经网络对文本生成的革命性影响，核心模型包括：

（1）RNN与序列建模

循环神经网络（RNN）通过隐藏状态传递上下文信息，解决了变长序列的建模问题。课程以LSTM为例，展示其如何通过门控机制缓解长程依赖问题：

# LSTM单元伪代码示例
def lstm_cell(input, prev_state):
    f_t = sigmoid(W_f * [input, prev_state.h] + b_f)  # 遗忘门
    i_t = sigmoid(W_i * [input, prev_state.h] + b_i)  # 输入门
    o_t = sigmoid(W_o * [input, prev_state.h] + b_o)  # 输出门
    c_t = f_t * prev_state.c + i_t * tanh(W_c * [input, prev_state.h] + b_c)  # 细胞状态更新
    h_t = o_t * tanh(c_t)  # 隐藏状态更新
    return State(h_t, c_t)

应用场景：RNN系列模型适用于短文本生成（如句子补全），但在长文本生成中存在梯度消失问题。

（2）Transformer与自注意力机制

课程详细拆解了Transformer架构的核心创新：

• 自注意力机制：通过计算词间相关性动态调整权重，例如在生成”The cat sat on the mat”时，”cat”与”mat”的注意力权重会显著高于其他词对。
• 多头注意力：并行捕捉不同语义维度的关系（如语法、语义、指代）。
• 位置编码：通过正弦函数注入序列顺序信息，解决RNN的时序依赖问题。

性能对比：在WMT2014英德翻译任务中，Transformer相比LSTM模型：

• 训练速度提升3倍（从7天缩短至2.3天）
• BLEU分数提高6.2点（从28.4提升至34.6）

（3）预训练语言模型（PLM）的崛起

课程深入分析了BERT、GPT等预训练模型对文本生成的影响：

• BERT的局限性：采用双向编码，难以直接用于生成任务（因需同时考虑左右上下文）。
• GPT的突破：通过自回归式生成（从左到右逐词预测），结合海量无监督数据预训练，实现了零样本生成能力。例如，GPT-3在Prompt为”Write a poem about love”时，可生成结构完整的诗歌。

工程实践建议：

• 微调策略：在特定领域数据上继续训练（如医疗文本生成需用PubMed数据微调）
• 提示工程：设计有效的Prompt模板（如”Translate the following English sentence to French: {input}”）

三、评估体系构建：从自动化指标到人类评价

课程强调，文本生成评估需结合量化指标与主观判断，构建多维度评估框架：

1. 自动化评估指标

• BLEU：基于n-gram匹配的精度指标，适用于机器翻译等任务。例如，系统输出”The cat sat”与参考译文”The cat sits”的BLEU-2得分为0.5（因”cat”匹配，”sat”与”sits”不匹配）。
• ROUGE：专注于召回率的评估，常用于摘要生成。ROUGE-L通过最长公共子序列（LCS）衡量连贯性。
• Perplexity：反映模型对测试数据的困惑程度，值越低表示模型越自信。例如，GPT-2在WikiText-103上的PPL约为18.3。

2. 人类评估维度

课程推荐采用以下人类评估标准：

• 流畅度：语法正确性与表达自然度（如”I have a apple”会被判定为低流畅度）
• 相关性：生成内容与输入条件的匹配程度（如问答系统中答案的准确性）
• 创造性：在故事生成等任务中，评估内容的独特性与新颖性

评估方案设计：

• 对比实验：同时展示多个系统的输出，让评估者进行排序（如1-5分制）
• 任务导向评估：根据具体任务设计指标（如对话系统的任务完成率）

四、典型应用场景与工程实践

1. 对话系统生成

课程以零售客服机器人为例，解析生成式对话的关键技术：

• 上下文管理：通过注意力机制追踪对话历史（如用户先问”退换货政策”，后问”需要运费吗”）
• 多轮规划：采用分层生成策略，先确定意图（如”查询物流”），再生成具体回复
• 安全机制：设置敏感词过滤与回复边界（如拒绝生成金融投资建议）

代码示例：基于Transformer的对话模型

from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")
def generate_response(context):
    input_ids = tokenizer.encode(context + tokenizer.eos_token, return_tensors="pt")
    out = model.generate(input_ids, max_length=100, do_sample=True, top_k=50)
    return tokenizer.decode(out[:, input_ids.shape[-1]:][0], skip_special_tokens=True)
# 示例对话
print(generate_response("Hello, how can I help you today?"))
# 输出可能为："I'm looking for information on product returns."

2. 数据到文本生成

课程以体育赛事报道生成为例，展示如何将结构化数据转化为自然语言：

• 数据预处理：将JSON格式的比赛数据（如球员得分、时间）转换为线性序列
• 模板增强生成：结合规则与神经网络（如”【球员名】在【时间】分钟打入一球”的骨架+细节填充）
• 领域适配：在金融报告生成中，需处理数字到文本的转换（如”3.14%”→”three point one four percent”）

3. 故事生成与创意写作

课程探讨生成式AI在文学创作中的应用边界：

• 情节控制：通过规划算法（如Hierarchical Story Generation）确保故事连贯性
• 风格迁移：在微调阶段引入特定作家作品（如模仿海明威的简洁风格）
• 伦理约束：设置内容过滤器避免生成暴力或歧视性内容

五、未来趋势与挑战

课程最后展望了文本生成技术的发展方向：

1. 可控生成：通过属性控制（如情感、长度、主题）实现更精细的生成（如”生成一条积极情绪的20字产品评论”）
2. 多模态生成：结合图像、音频生成跨模态文本（如根据视频生成解说词）
3. 低资源场景：研究少样本/零样本学习技术，降低对标注数据的依赖

开发者建议：

• 优先掌握Transformer架构与预训练模型微调技术
• 关注评估体系的完善，避免过度依赖单一指标
• 在工程实践中平衡生成质量与计算效率（如采用蒸馏技术压缩大模型）

本讲通过理论解析、技术拆解与案例分析，为开发者构建了完整的文本生成技术图谱，既适合作为学术研究的参考框架，也可直接指导工程实践。