大模型升级新范式：后训练RL与长程Agent

一、从“堆预训练”到“堆后训练”：竞赛重心的迁移

过去数年，大模型能力的提升主要依赖预训练规模的扩张：更多数据、更大参数、更长训练时间。但随着高质量公开语料逼近上限、边际收益递减，行业竞争重心明显转向后训练阶段——即在基座模型之上，通过监督微调、强化学习、过程奖励等手段，把“通用的知识”打磨成“可用的能力”。

近期多家厂商发布的新一代旗舰模型呈现出高度一致的三个信号：

• 后训练计算量显著增加，投入甚至超过上一代数倍；
• 强化学习不再局限于数学、代码等易验证领域，而是扩展到数百个下游任务域；
• 能力卖点从“问答更聪明”转向“能持续干活的Agent”：编程、金融研究、3D工具调用、长时间任务执行。

这印证了一个判断：模型的基础智力差距正在收窄，真正拉开体验差距的，是后训练把智力“兑现”为生产力的程度。百万级上下文也逐步成为旗舰模型标配，为长程任务提供了记忆载体。

二、把RL铺到数百个领域：难在哪里？

将强化学习规模化应用到数百个下游领域，本质上要解决三个问题：环境从哪来、奖励怎么算、训练怎么稳。

1. 环境与沙箱基础设施

RL的“练兵场”是可交互的环境。代码任务需要可编译运行的容器，工具调用需要可模拟的接口，长程任务需要能保存与恢复状态的工作区。这背后是一整套沙箱基础设施：快速拉起、资源受限、网络隔离、执行可追溯。环境质量检查平台则负责筛除不可解、有歧义或奖励可被“钻空子”的任务——否则模型会学到投机取巧的策略，评测分数虚高而实际能力不佳。

2. 奖励设计与可验证性

可验证奖励是当前最有效的路线：单元测试是否通过、终端任务是否达成目标状态、金融结论是否与数据源一致。对难以自动验证的领域，则采用规则打分与模型评审相结合的混合方案，并用一致性校验压制奖励噪声。

3. 训练框架与调度系统

数百个领域并行RL，意味着大规模rollout、异构任务调度、长上下文KV状态的高效传递。框架层面要解决样本吞吐、显存复用、断点续训；调度层面要平衡不同领域的样本配比，防止灾难性遗忘与能力此消彼长。

可以说，这一代模型的后训练，比拼的已经不只是算法，而是“RL工厂”的整体工程化能力。

agent-">三、编程与Agent能力如何被科学衡量

编程是后训练收益最直接的领域，也催生了更严格的评测范式。

1. 终端环境基准

与传统“给函数签名补全代码”不同，新一代基准把模型放进真实、资源受限的终端环境：给定一个任务（如修复复杂缺陷、从零搭建服务），模型需要自主执行命令、读写文件、安装依赖、运行测试，且每项任务配有专项验证测试。这类测试衡量的是端到端交付能力而非单点补全。从公开成绩看，头部模型在此类基准上的差距已收窄到个位数百分点，“终端级”编程能力正在成为旗舰标配。

2. 长程代码评测

另一类评测聚焦多步执行与工具调用：任务周期长达数十甚至上百轮交互，评估模型能否维持计划一致性、在出错后自我修正、最终端到端解决问题。相比一次性生成，长程评测更贴近真实工程。

一个典型的长程Agent主循环可以抽象为：

# 长程Agent主循环（示意）
while not task.finished and step < MAX_STEPS:
    observation = env.snapshot()          # 采集终端、文件、日志等环境状态
    plan = model.reason(context, observation)   # 推理与规划
    action = model.propose_action(plan)         # 生成命令或工具调用
    result = sandbox.execute(action)            # 在受限沙箱中执行
    verifier.check(result)                      # 校验阶段性结果
    memory.update(plan, action, result)         # 写入经验，供后续步骤引用

影响实际表现的关键，往往不是单步推理质量，而是上下文管理（状态压缩、关键信息留存）、失败重试策略与验证器设计——这些统称为Agent的Harness（执行框架）。

四、同等智能、数倍速度：高速版如何实现

新模型发布往往伴随“高速版”：在智能水平基本不变的前提下，把输出速度提升数倍。常见技术路径包括：

• 推测解码：用小模型起草、大模型并行验证，单次前向产出多个Token；
• 前缀缓存与KV复用：系统提示词、长文档等稳定前缀只计算一次，后续请求直接复用；
• 量化与算子融合：在可控精度损失下压缩显存与计算开销；
• 连续批处理与调度优化：提高GPU利用率，降低排队延迟。

对开发者而言，高速版的价值在交互式场景（编程助手、实时对话）尤为明显：首Token延迟与生成速度直接决定“跟手”程度；而在离线批量任务中，标准版的性价比通常更高。

五、读懂Token计价：缓存才是成本杠杆

当前主流API普遍采用三维计价：缓存命中输入、未命中输入、输出。三者的价差通常达到一个数量级——输出最贵，未命中输入次之，命中输入最便宜。因此成本优化的核心是提高缓存命中率：

• 把稳定内容（系统提示、工具定义、知识库前缀）放在上下文最前面；
• 多轮对话尽量复用会话前缀，避免每轮重写历史；
• 长文档问答采用“文档前缀缓存 + 多问题复用”模式。

一个简单的成本估算示意：

def estimate_cost(p_hit, p_miss, p_out, tok_hit, tok_miss, tok_out):
    """价格单位：元/百万Token（示例数值，仅演示计算方法）"""
    return tok_hit/1e6*p_hit + tok_miss/1e6*p_miss + tok_out/1e6*p_out
# 假设：命中输入 1.5 元、未命中输入 15 元、输出 70 元
cost = estimate_cost(1.5, 15, 70,
                     tok_hit=4_000_000, tok_miss=1_000_000, tok_out=800_000)
print(f"预计成本：{cost:.2f} 元")   # 77.00 元

同样的调用量，若命中率从20%提升到80%，输入成本可下降一半以上。在Agent类长任务中（上下文反复携带历史），缓存策略对总成本的影响甚至超过模型单价本身。

六、Harness上云：托管智能体成为新基建

另一个值得关注的趋势是“托管智能体”服务的出现：厂商把支撑Agent长时间运行的执行框架——沙箱、调度、状态管理、观测告警——封装为云端基础设施对外提供。其典型能力包括：

• 7×24小时长程任务：任务跨天运行，支持断点恢复；
• 多智能体协作：多个Agent分工、通信、汇总结果；
• 环境隔离与安全：代码执行、工具调用均在受控沙箱内完成；
• 全链路可观测：每一步的推理、动作、结果可追溯、可回放。

这实际上把Agent应用的工程门槛从“自建一套执行基础设施”降低为“调用一个托管环境”。主流云平台（如百度智能云）在模型服务之外也普遍提供容器、函数计算、监控告警等通用组件，同样可以组合出类似的执行底座。

七、给开发者与企业的四点启示

1. 选模型看“能力密度”而非单点分数：重点关注长程任务、工具调用、终端级编程等贴近生产的评测维度；
2. 交互场景选高速、离线场景选标准：按延迟敏感度分配版本，可同时优化体验与成本；
3. 把缓存设计写进架构：提示词分层、前缀稳定化，是回报率最高的成本优化手段；
4. Agent能力 = 模型 + Harness：执行框架、验证器、状态管理同样决定成败，评估托管服务或自建方案时，优先考察沙箱安全、可观测性与断点恢复能力。

结语

这一轮模型升级的主线非常清晰：预训练奠定的智力，正在通过大规模后训练与强化学习被“兑现”为可持续工作的生产力。对开发者而言，理解后训练范式、评测方法与成本结构，比追逐单次榜单名次更有长期价值——因为决定落地效果的，从来都是模型、工程与成本三者的综合最优。