新一代基础模型能力跃迁解析：从“会答题”到“能交付”

一、现象观察：分数不涨，能力却在“换物种”

近期基础模型领域迭代节奏明显加快，多家厂商密集发布新版本。其中一款备受关注的新一代模型在发布后，最先引发讨论的并不是某项跑分创下新高，而是一组颇具反差的数据：

• 在某个第三方综合智力评测体系中，该模型（高强度推理档位）得分为 61 分；
• 上一代主力模型的得分同样是 61 分；
• 而同期另一家厂商的竞品模型得分为 66 分。

如果只看这一张表，很容易得出一个草率的结论：新一代模型“名不副实”，综合智力没有提升，甚至落后于同代竞品。

但继续查看官方公布的分项数据，结论会迅速反转：

评测维度	上一代模型	新一代模型
自动化任务基准	18.1%	41.4%
终端科学任务基准	22.4%	64.6%
漏洞利用类基准	—	100%
抽象推理类基准（ARC 系列）	—	最高 99.9%

这就引出了一个值得深入讨论的技术问题：为什么综合智力分数几乎停滞，而在自动化、智能体、科学计算、工具调用与系统级任务上，表现却像换了一个物种？

答案的核心在于：这一代模型真正升级的，不是“会不会答题”，而是“能不能把事情做完”。综合智力分数不是假的，但它也不再是全部真相。

二、评测体系的错位：静态问答与动态执行的分野

要理解上述反差，首先需要理解现有评测体系的构成与局限。

2.1 综合智力评测衡量的是什么

主流综合智力评测通常由大量静态题目构成，覆盖学科知识、逻辑推理、阅读理解等维度。这类评测的特点是：

• 单轮输入输出：给定题干，模型输出答案，过程不可交互；
• 答案可判定：多数题目有明确的标准答案或评分规则；
• 上下文封闭：不依赖外部工具、文件系统、网络或环境状态；
• 失败成本低：答错一题只是丢分，不会产生连锁后果。

这类评测本质上衡量的是模型的知识覆盖度与单步推理质量，它非常适合比较“同代模型谁更聪明”，但对“模型能否独立完成一件复杂工作”几乎没有区分度。

2.2 为什么综合分数会“停滞”

当模型规模与训练数据达到一定水平后，静态问答类能力的边际收益会明显递减。这符合一般的经验规律：知识类题目的上限受限于题目本身的信息量，模型之间的差距会被压缩到很小的区间内。61 分与 66 分之间的差异，放在静态问答语境下可能只是若干道题目的波动，并不必然代表能力代际差异。

换句话说，综合智力评测已经接近其作为区分工具的饱和点。继续用它来判断新一代模型的价值，就像用百米冲刺成绩去评价一名马拉松选手。

2.3 分项评测揭示的真实跃迁

与静态问答不同，自动化任务基准、终端科学任务基准、漏洞利用类基准衡量的是另一类能力：

• 多步骤规划：需要把目标拆解为可执行的子任务序列；
• 工具调用：需要正确构造参数、解析返回结果、处理异常；
• 环境交互：需要在文件系统、命令行、代码仓库等真实环境中操作；
• 长程一致性：需要在数十甚至上百步操作中保持目标不漂移；
• 自我校验：需要判断中间结果是否合理，并在失败后调整策略。

这些能力恰恰是静态评测无法覆盖的，也正是新一代模型提升最显著的地方。从 18.1% 到 41.4%、从 22.4% 到 64.6% 的跃升，反映的不是“更会答题”，而是“更会做事”。

三、任务完成能力的四个技术支柱

那么，“能把事情做完”究竟由哪些技术能力构成？可以归纳为四个支柱。

3.1 智能体编排：从单次调用到多阶段流水线

智能体编排指的是模型在一个任务中自主决定“下一步做什么”的能力。一个典型的编排循环如下：

# 伪代码：智能体编排的典型循环结构
def run_agent(goal, tools, max_steps=50):
    context = init_context(goal)
    for step in range(max_steps):
        # 1. 规划：决定下一步动作
        action = model.plan(context, available_tools=tools)
        # 2. 执行：调用工具并获取结果
        result = tools.execute(action)
        # 3. 观察：把结果写回上下文
        context = context.append(action, result)
        # 4. 自检：判断目标是否达成或需要回退
        status = model.reflect(context, goal)
        if status.is_done:
            return status.output
        if status.needs_replan:
            context = context.rollback_to_last_checkpoint()
    return context.best_effort_output()

这段循环看似简单，工程难点却集中在三处：规划的质量、失败后的回退策略、以及长上下文中的目标保持。新一代模型在这三处的改进，直接体现为自动化基准分数的翻倍。

3.2 长任务执行：上下文管理与状态保持

长任务执行的核心挑战是上下文膨胀。当任务步数达到几十步时，历史记录会迅速占满上下文窗口，导致关键信息被稀释。常见的工程手段包括：

• 分层摘要：对已完成步骤做结构化摘要，只保留结论与关键中间产物；
• 外部状态存储：把中间结果写入文件或数据库，上下文中只保留引用；
• 检查点机制：在关键节点保存状态快照，失败时可回滚而非重来；
• 目标锚定：在每一轮规划时重新注入原始目标，防止意图漂移。

这些手段本身并不新颖，但模型能否自主、正确地使用它们，才是能力差异所在。一个只会答题的模型无法判断“此时应该摘要还是应该回滚”，而具备任务执行能力的模型可以在循环中做出这类决策。

3.3 工具调用与协议理解：结构化输出的可靠性

工具调用的可靠性取决于模型生成结构化参数（如 JSON）的准确率，以及对工具返回值的理解能力。工程实践中常见的加固措施包括：

{
  "tool": "file_edit",
  "arguments": {
    "path": "/workspace/src/main.py",
    "operation": "replace",
    "anchor": "def compute_total(",
    "content": "def compute_total(items, tax_rate=0.0):"
  },
  "preconditions": ["file_exists", "anchor_unique"],
  "on_failure": "re_read_file_and_retry"
}

注意其中 preconditions 与 on_failure 字段：成熟的智能体不会盲目执行，而是先校验前置条件，并为失败预设恢复路径。这种“防御式调用”是系统级任务可靠性的关键，也是分项基准中工具调用类得分提升的主要来源。

3.4 自我校验与安全边界

在漏洞利用类基准上取得极高分数，说明模型对系统行为的理解达到了相当深度。这类能力具有双面性：它既可以用于安全测试与防御加固，也可能被滥用。因此在实际落地中，必须配套以下约束：

• 权限最小化：智能体运行在受限沙箱中，只暴露必要的工具与路径；
• 操作审计：所有工具调用记录完整日志，支持事后追溯；
• 高危动作拦截：对删除、写入系统目录、网络外联等动作设置人工确认或策略拦截；
• 分级授权：按任务风险等级动态调整可用工具集。

能力越强，边界越要清晰。这不是对模型的限制，而是工程化的必要前提。

四、工程落地：如何评估与选型

面对“综合分不涨、分项分暴涨”的新一代模型，团队在选型与评估时应调整方法。

4.1 建立面向任务的评测集

不要只依赖公开综合榜单，应构建贴合自身业务的任务级评测集：

1. 采集真实任务：从工单、代码仓库、运维记录中抽取有明确完成标准的任务；
2. 定义成功判据：可自动判定的优先（如测试通过、构建成功），不可自动判定的采用双人评分；
3. 覆盖失败路径：刻意加入工具报错、输入缺失、权限不足等异常场景；
4. 统计端到端指标：关注任务完成率、平均步数、人工介入率、单任务成本，而非单题正确率。

4.2 分层部署架构

一个可参考的分层架构如下：

接入层    → 任务提交、权限校验、配额控制
编排层    → 规划、调度、检查点、回滚
执行层    → 沙箱环境、工具网关、文件与命令接口
观测层    → 全链路日志、指标采集、告警
评估层    → 离线评测集、在线抽样复核、回归对比

其中编排层是能力差异的主要承载点。选型时应重点验证：模型在长任务中是否稳定保持目标、是否正确使用检查点、是否在失败后合理回退。

4.3 成本与延迟的权衡

任务执行类能力通常伴随更多的 token 消耗与更长的响应时间。工程上需要做分级策略：

• 简单任务走低推理档位、短上下文路径；
• 复杂任务走高强度推理档位，并允许更长的执行时间；
• 批量任务采用异步队列，避免同步阻塞；
• 可缓存步骤复用结果，减少重复推理。

五、结论与展望

回到最初的问题：综合智力 61 分是否意味着新一代模型“翻车”？答案是否定的。综合智力评测衡量的是静态知识问答能力，这一维度已接近饱和；而自动化、智能体编排、科学计算与系统级任务所衡量的任务完成能力，才是这一代模型真正的跃迁所在。

对开发者与企业的启示可以概括为三点：

1. 换评测维度：用任务级指标替代单题正确率，关注端到端完成率与人工介入率；
2. 建工程护栏：沙箱、审计、权限分级是高能力模型落地的前提，而非可选项；
3. 重编排设计：模型的规划与自检能力需要配套的编排框架才能释放，编排层是新的技术竞争点。

从“会答题”到“能交付”，是基础模型走向实用化的关键一步。能否抓住这一步带来的工程红利，取决于团队是否愿意同步升级自己的评测体系与系统架构。