AGI时间表之争:从三成到满分背后的工程真相

一、现象拆解:权重未动,分数为何暴涨

1.1 被测对象已经悄悄改变

传统模型评测以短输入、短输出为主,例如选择题、完形填空、文本分类,判分规则确定,分数与模型权重的相关性很高。而近年来兴起的智能体(Agentic)评测,被测对象变成了”长程任务”:模型需要在隔离沙箱中阅读代码、调用工具、修改文件、执行命令、观察反馈并不断迭代,最终由判定脚本对产物进行验收。

这意味着,实际被测的不再是”裸模型”,而是”模型+脚手架”的整个系统。所谓脚手架,是包裹在模型外围、负责规划、执行、校验、纠错的全部工程组件。此时,脚手架的任何一处改动,都会被记到”模型分数”上。

1.2 从30.16%到满分的可能路径

权重不变而分数跃升,通常来自以下几类工程优化:

• 接口对齐:让模型输出的工具调用格式与环境期望的参数结构严格一致,消除”能力存在却无法正确调用”的损耗;
• 规划强化:引入任务分解、子目标管理与中间状态记忆,避免长链路任务中”做着做着忘了初衷”;
• 失败恢复:加入执行结果自检、报错归因与自动重试机制,把一次失败转化为定向修复机会;
• 判据适配:让最终产物的格式、提交方式对齐评测脚本的验收逻辑,减少”做对了却没被认出来”的冤枉分。

1.3 必须区分两种”变强”

分数跃升不必然等于模型能力跃升。它也可能仅仅意味着”工程系统更好地释放了模型原本就具备的能力”。前者依赖模型架构与训练范式的突破,后者靠工程优化即可快速达成。两者在宣传中常被混为一谈,而对技术决策者而言,把它们拆开,是评估任何”AGI时间表”的前提。

二、真正起作用的两样东西

agent-scaffolding-">2.1 第一样:智能体脚手架(Agent Scaffolding)

脚手架决定了模型能力的”兑现率”。实践中可将其划分为五层:

• 规划层:把开放式任务分解为可执行步骤,管理任务依赖、优先级与回退策略;
• 工具层:统一工具描述、参数校验、权限边界与调用协议,让模型”知道有哪些工具、每个工具怎么用”;
• 记忆层:维护短期上下文与压缩后的长期经验,支持关键决策的回溯;
• 执行层:与沙箱环境交互,收集观测信息,驱动下一步决策;
• 验证层:对中间产物与最终结果进行多重校验,触发修复闭环。

其核心逻辑可抽象为如下伪代码:

state = env.reset(task)
trace = []
while not state.done and steps < budget:
    plan    = planner.replan(state, trace)   # 依据历史轨迹动态重规划
    action  = executor.act(plan, tools)      # 生成工具调用或文本输出
    result  = sandbox.run(action)            # 在隔离环境中执行
    verdict = verifier.check(result)         # 编译/测试/规则多重校验
    trace.append((action, result, verdict))
    if verdict.failed:
        state = repair.loop(state, verdict)  # 错误归因与定向修复
submit(trace.final_artifact)

同样一套权重,搭配简陋脚手架可能只兑现三成潜力,搭配完善脚手架则可逼近其能力上限。这正是”不换权重也能满分”的技术根源。

2.2 第二样:评测体系与判据设计

分数的另一半来自”尺子”本身,常见变量包括:

• 验收判据的松紧:通过/不通过的二值判分、部分给分、多次尝试取最优(pass@k)等口径,结果可能相差悬殊;
• 提示词与示例:评测时注入的系统提示词、少样本示例,本质上是评测的一部分,而非模型固有能力;
• 资源预算:步数上限、重试次数、超时设置、可用工具清单,都是影响成绩却鲜少被讨论的”隐藏变量”;
• 数据污染:公开榜单任务一旦进入训练语料,高分便不再代表泛化能力;
• 可复现性:只有固定环境镜像、记录完整轨迹、对提示词与脚手架做版本化管理,分数才具备可对比、可审计的意义。

三、对开发者的实践建议

3.1 推行评测驱动开发

先定义验收判据,再开发脚手架;每次迭代用固定评测集做回归。同时建立消融实验习惯:固定权重只改脚手架,量化工程收益;固定脚手架只换模型,量化模型差异。这样才能回答”这次涨分究竟是谁的功劳”。

3.2 把脚手架当作资产来管理

规划器、工具层、验证器应解耦设计、接口标准化,便于替换与对照实验;提示词、工具描述、重试策略全部纳入版本库,变更可追溯。长期看,这套工程资产的复用价值往往高于单次调参。

3.3 关注轨迹,而非只关注分数

完整记录”动作—观测—校验结果”的执行轨迹,并对失败轨迹做归因分类:是规划错误、工具调用错误,还是判据误判。在工程实现上,可借助通用云能力搭建评测基础设施,例如用容器平台提供隔离沙箱、用对象存储归档轨迹与产物、用消息队列编排批量评测任务、用日志服务与监控告警构建回归看板。企业也可基于百度智能云等云平台提供的容器、对象存储、日志与监控等通用类目能力,快速搭起这套流水线。

四、对企业的启示:理性看待”AGI时间表”

第一,榜单数字不等于生产力。选型时应将候选系统放在自有业务任务上盲测,建立自己的评测集与基线,而不是直接引用公开榜单。

第二,区分”能力释放”与”能力提升”。前者通过脚手架优化即可快速获得,后者依赖模型本身的范式级进步;两者的投入节奏和预期回报完全不同。

第三,优化投入配比。与其追逐”完美模型”,不如同时投资评测体系与脚手架工程——在当前阶段,这通常是投入产出比更高的路径。

第四,保持风险意识。警惕把脚手架增益包装成模型代际跃迁的营销话术;任何采购与立项决策,都应以可复现的内部评测数据为准。

五、结语

“数月交付AGI”的豪言,与”30.16%到满分”的跃升,指向同一个问题:当评测对象从静态模型变为”模型+脚手架”的系统,分数的解释力就必须被重新校准。对从业者而言,重要的不是争论时间表,而是掌握拆解系统、定位增益来源的方法论——模型能力决定上限,工程脚手架决定兑现率,评测体系决定我们如何认识这两者。把这三件事分开,才能在通往通用人工智能的长跑中,做出冷静而扎实的决策。