一、大模型能力提升的两条主线

业界普遍认为，大模型能力的持续提升主要沿着两条路径展开：

第一条是预训练。核心手段包括扩大参数规模、优化模型架构（如注意力机制改进、混合专家结构等）、提升训练数据的规模与清洗质量。过去几年，参数规模从百亿级一路攀升至千亿级，如今头部模型的参数量已进入数千亿乃至万亿量级。预训练决定了模型的“知识底座”与通用能力上限，但其边际收益正逐渐放缓——算力与高质量文本数据的获取成本越来越高，单纯堆规模带来的提升开始变得不那么“划算”。

第二条是后训练。即在预训练基座之上，通过监督微调（SFT）、基于人类反馈的强化学习（RLHF），以及近两年快速崛起的大规模强化学习等手段，把基座模型的潜力“激发”出来，尤其是在数学推理、代码生成、复杂任务规划等需要深度思考的场景中，后训练的作用愈发关键。

一个值得注意的行业趋势是：当预训练的边际收益递减时，越来越多团队把资源重心转向后训练，特别是面向智能体（Agent）场景的大规模强化学习。

二、后训练的技术演进：从模仿到探索

后训练并非单一技术，而是一组不断演进的范式：

1. 监督微调（SFT）：用高质量指令-回答对做行为克隆，让模型学会“照着做”。优点是稳定可控，缺点是能力上限受限于示范数据的质量与覆盖面，且难以教会模型“试错”。
2. 偏好对齐（RLHF/DPO 等）：基于人类偏好数据优化输出的风格与安全性，主要解决“回答是否合乎期望”，对复杂推理能力的贡献相对有限。
3. 可验证奖励的强化学习（RLVR）：在数学、代码等存在客观判分标准的领域，让模型通过大量采样与试错实现自我提升，系统依据标准答案或测试结果给出奖励并更新参数。
4. Agent 强化学习：把强化学习从“单轮问答”扩展到“多轮、长程、带工具调用”的任务序列。模型需要在真实或仿真环境中执行操作、观察反馈、修正策略，最终完成任务目标。

前两类技术解决的是“对齐”问题，后两类解决的是“能力跃迁”问题。当前最受关注的，正是第四类。

三、从“判对错”到“能执行”：奖励信号的本质变化

要理解为什么 Agent RL 对基础设施要求极高，先要看清奖励信号发生的变化。

训练模型做数学题时，奖励获取相对简单：模型输出一个最终答案，与标准答案比对即可判对错，整个交互是单轮、静态、低成本的。

但要让模型学会完成一项复杂的编程任务，情况完全不同：

• 模型需要理解需求，拆解实现步骤；
• 需要编写或修改代码，调用构建工具、运行测试；
• 需要观察报错信息，定位缺陷，再继续修改；
• 整个过程可能循环多轮，直到测试全部通过。

此时，奖励不再来自“答案比对”，而是来自真实执行的结果——编译是否通过、测试是否通过、程序行为是否符合预期。训练系统必须依据这些实际执行反馈来计算奖励并更新模型。

这带来两个直接后果：其一，环境成为必需品，没有真实执行环境就没有可靠奖励，强化学习会退化为对表面模式的拟合；其二，交互成本急剧上升，一条轨迹可能包含几十次工具调用、数万 token 的上下文。由此可以提炼出一个判断：后训练的竞争，正越来越取决于模型能在多少高质量环境中反复试错，并获得多么可靠的反馈。“环境的质量与数量”正在成为新的护城河，其地位堪比预训练时代的“数据质量”。

agent-rl-">四、大规模 Agent RL 的四大基础设施挑战

把上述闭环放大到工业化规模——同时训练成千上万个任务——工程复杂度会陡然上升。

1. 沙箱环境：隔离、安全与高并发

Agent 执行代码意味着系统要真实运行模型生成的任意代码，天然伴随安全风险。成熟方案通常基于容器或轻量级虚拟机构建沙箱：强隔离（限制文件系统、网络与系统调用权限）、快照与秒级恢复以支持海量任务并行、资源配额（CPU/内存/时长上限）、以及环境可复现性（同一任务不同时间执行结果一致，避免奖励信号引入噪声）。

2. 任务调度：让昂贵的 GPU 不空转

训练循环是“采样—执行—评估—更新”的交替过程，而环境执行的耗时方差极大。常见优化包括：异步流水线（采样、执行、奖励计算与参数更新解耦并行）、长尾任务治理（超时终止与重试策略）、弹性伸缩（沙箱实例按训练节奏波峰波谷扩缩容）。

3. 任务与环境质量：新的“数据工程”

预训练时代拼数据清洗，Agent RL 时代拼“环境工程”：任务难度分层覆盖连续区间，避免在过易或过难任务上浪费算力；测试用例严谨设计，防止模型“钻空子”获取奖励；评测任务去污染，避免泄漏进预训练语料导致评估失真；持续扩充任务类型，从代码修复扩展到数据分析、运维操作等可执行、可验证的专业场景。

4. 评判可靠性：奖励函数是被攻击的第一目标

只要奖励可被投机取巧，模型就一定会找到捷径，即所谓奖励破解（reward hacking）。应对手段包括：多维度评判（不仅看最终结果，还校验中间产物合理性）、隐藏测试集（训练与评估用不同用例，抑制过拟合）、人工抽检与自动化审计结合，持续修补奖励漏洞。

五、一个示意性的训练闭环

将上述要素串联，可用如下伪代码描述典型的 Agent RL 训练循环（仅用于说明流程）：

# 大规模 Agent RL 训练闭环（示意）
for step in range(train_steps):
    tasks = task_pool.sample(batch_size)          # 1. 任务池采样，按难度分层
    envs  = [Sandbox.spawn(t) for t in tasks]     # 2. 为每个任务启动隔离沙箱
    trajectories = []
    for task, env in zip(tasks, envs):
        traj = agent.rollout(env, max_rounds=N)   # 3. 多轮交互：改代码→运行→观察→再改
        reward = verifier.score(env.result,       # 4. 依据真实执行结果计算奖励
                                hidden_tests=task.tests)
        trajectories.append((traj, reward))
    policy.update(trajectories)                   # 5. 更新策略模型
    telemetry.report(pass_rate, reward_dist)      # 6. 监控通过率与奖励分布

真正决定训练上限的往往不是算法本身，而是第 2～4 步背后的工程体系：沙箱够不够稳、调度够不够快、奖励够不够准。

六、工程落地的通用技术底座

从工程视角看，构建这类训练平台通常会复用云原生的通用能力：容器编排服务承载沙箱集群，GPU 算力调度支撑训练与推理，对象存储保存海量轨迹与任务数据，日志服务与监控告警保障长时训练的可观测性。这些能力在主流云平台（如百度智能云）中都属于标准化的基础服务，团队可按需组合，把精力集中在任务池建设与奖励体系设计等真正差异化的环节上。

七、挑战与趋势

尽管进展迅速，大规模 Agent RL 仍有若干开放问题：环境构建成本高，真实工具链接入与仿真-真实差距意味着巨大投入；泛化难题，模型可能在训练环境表现优异，换到陌生环境明显退化；评测体系不成熟，可交互、可执行的评测环境本身也是稀缺资源；长轨迹带来的 token 消耗与交互开销，对推理效率提出更高要求。

可以预见，行业竞争的焦点将从“谁的基座更大”逐步转向“谁能构建更多高质量环境、谁的反馈权威更可靠”。

结语

后训练正在重新定义大模型能力的增长曲线：预训练把知识“装进”模型，后训练则通过大规模强化学习教模型“用出来”。这条路线的成败，最终取决于那些不那么性感的基础设施——一个稳定的沙箱、一套高效的调度器、一份严谨的奖励函数。对计划投入该方向的团队，建议先从小规模闭环做起，验证环境与奖励的可靠性，再逐步扩展并发规模。毕竟在强化学习里，反馈的质量永远优先于反馈的数量。