如何理性评估大模型能力跃迁与AGI宣称

一、当”AGI”再次被提起：先降温，再拆解

每逢新一代旗舰大模型发布，“AGI（通用人工智能）时代来了”的声音总会准时出现。对一线开发者和企业技术决策者而言，情绪化的欢呼或嘲讽价值有限，真正有用的是一套可复用的评估方法论：当一份亮眼的成绩单摆在面前时，如何判断它到底是能力跃迁，还是评测技巧的胜利？

近期某前沿模型发布后披露的一组评测数据，恰好是一个很好的分析样本：抽象推理类基准成绩跃升至极高区间；网络安全实战类基准出现接近满分的通过率；科研终端任务类基准从 20% 出头冲到 60% 以上；甚至有公开信息称，在模型辅助下某数论问题的间隔上界被压缩到 186，向孪生素数猜想推进了一步。下面以这份成绩单为例，拆解一套“去水分、看结构、找信号”的评估流程。

二、第一层拆解：裸模型成绩 vs 系统级成绩

2.1 为什么同一个基准会出现两个分数

现代评测早已不是“把题目喂给模型、比对标准答案”这么简单。一个完整的评测系统通常包含：

• Harness（评测框架）：负责数据加载、提示词组装、输出解析与判分；
• Scaffolding（脚手架）：围绕模型的多轮规划、工具调用、自我校验等外围逻辑；
• 状态保留：在多步骤任务中维持上下文与中间结果；
• Provider 适配层：屏蔽不同推理服务的接口差异。

这些组件都会显著影响最终得分。以这轮讨论最多的抽象推理类基准为例：标准评测框架下，模型本身的成绩大约在 63%；而加上适配层、状态保留与更强脚手架之后，系统级成绩达到 99%。两个数字表面上差了一个数量级，归因却完全不同。如果不看注释直接引用 99%，就会严重高估“模型裸能力”，这正是此类宣称最容易产生误导的地方。

2.2 被低估的 63% 同样值得重视

反过来说，63% 这个“挤掉水分”的数字本身也非常惊人。这类基准考察的是面对全新规则时的归纳、试错与行动规划能力，此前绝大多数模型在该类任务上接近随机水平。即便只看裸成绩，也说明模型在陌生规则泛化上出现了代际提升——这与“刷题过拟合”是两种完全不同的结论。评估时的正确姿势是：两个数字都看，并且分开归因——多少提升归模型本体，多少归系统工程。

三、第二层拆解：采样口径与 pass@k 的“水分扣除”

3.1 pass@k 到底在度量什么

实战类基准（如网络安全攻防）常出现 pass@k 标注。它的含义是：每个任务允许最多 k 次尝试，只要有一次成功即算通过。其无偏估计可以用组合数直接计算：

from math import comb
def pass_at_k(n: int, c: int, k: int) -> float:
    """n: 总采样次数; c: 成功次数; k: 允许尝试次数"""
    if n - c < k:
        return 1.0
    return 1.0 - comb(n - c, k) / comb(n, k)
print(pass_at_k(n=4, c=1, k=1))  # pass@1：单次成功率
print(pass_at_k(n=4, c=1, k=4))  # pass@4：四次内至少成功一次

同样是“接近满分”，pass@1 与 pass@4 的含金量差别巨大。看到 100%、99.2% 这类数字时，第一反应应是核对采样口径，而不是先惊叹。

3.2 扣掉水分之后还剩什么

把多次尝试的红利扣除、按单次成功率折算后，成绩会回落一截。但即便如此，模型在二进制逆向、漏洞利用、系统诊断这些高门槛方向上的表现仍显著领先于上一代。评估的关键不是“找到水分然后否定一切”，而是量化水分，再判断剩余部分是否仍具突破性。

四、第三层拆解：看能力结构，而不是单一总分

综合这轮披露的信息，一个重要特征是：能力不是全线等比例上涨，而是结构性跃升——

• 大幅提升：数学推理、科学分析、逆向工程、长程任务规划；
• 体感变化有限：普通编码、写作、问答、前端页面生成等日常场景。

这个结构对开发者有直接含义：

1. 如果日常工作流是“生成一个增删改查接口 / 一个落地页”，新一代模型的边际提升可能不明显，切换动力不足；
2. 如果任务涉及多步骤调试、复杂系统排障、科研计算管线，生产力曲线可能出现拐点；
3. 团队做模型选型时，应按任务分层建评测集，而不是拿一个综合总分做决策。

同时要避免另一个极端：拿“生成一个营销页面”这类简单任务去评测旗舰模型，属于“大炮打蚊子”——既测不出上限，反而容易被简单任务的稳定表现误导，低估模型在困难任务上的真实进步。

五、真正值得关注的信号：从“答题能力”到“解题能力”

5.1 科研终端任务：真实环境中的长程执行

本轮最接近“通用智能”定义的提升，是科研终端操作类基准从上一代约 22% 跃升至 64.6%。这类任务要求模型在真实科研环境里操作终端、分析数据、运行计算管线、完成多步骤任务，任何一步出错都会导致整体失败。它考察的不是知识记忆，而是“在开放环境中自主达成目标”的能力——这正是 AGI 讨论中最核心的能力维度。

5.2 参与前沿数学：开放问题的辅助突破

另一类信号来自数学研究本身：公开信息显示，在模型辅助下素数间隔上界被进一步压缩，向孪生素数猜想推进了一步。要理解这件事的分量，需要意识到：benchmark 是有限题库，终究会被“打穿”到失去区分度（前沿数学难题集逼近满分就是典型现象）；而参与尚未解决的开放问题，意味着模型开始从“应试者”转变为“研究者”。对技术判断而言，后者的信号价值远高于前者。

六、落地实践：给团队一套私有评估框架

与其争论“算不算 AGI”，不如把精力放在构建自己的评估体系上：

1. 任务分层：把业务任务分为“日常体感层”与“高难探索层”，分别建集；
2. 口径固定：裸模型与系统级成绩分开测、分开记，脚手架配置纳入版本管理；
3. 多次采样：统一用 pass@1 / pass@4 / 多数投票等口径出报告，避免单次抽样误导；
4. 自动化流水线：利用云上通用能力搭建评测流水线——用对象存储归档评测结果与执行轨迹，用容器平台调度评测任务，用日志服务收集全过程记录，用监控告警跟踪指标漂移。以百度智能云为例，上述能力均属通用产品类目，可直接组合使用；
5. 轨迹审查：不只看最终得分，抽样人工审查中间步骤，区分“蒙对”与“真会”。

一份简化的流水线配置示意：

eval_pipeline:
  tasks:
    - tier: daily       # 日常体感任务
    - tier: research    # 长程科研/排障任务
  scaffold:
    state_keep: true
    tool_adapter: on
  sampling: { n: 8, metrics: [pass@1, pass@4, majority_vote] }
  report:
    split: capability          # 按能力维度拆分输出
    compare: bare_vs_scaffolded

七、结语：把“AGI 宣称”翻译成工程问题

回到最初的问题：该如何看待“人类进入 AGI 时代”的宣称？理性的做法是把它翻译成三个工程问题：口径是否干净（裸模型还是系统成绩）、水分有多少（采样口径与过拟合程度）、能力结构是什么（涨的是应试分数还是开放解题能力）。就这轮披露的信息而言，更准确的概括或许是：研究型智能正在走向成熟——数学、科学与长程推理出现结构性跃迁，而日常场景仍需开放访问后亲自上手验证。榜单会饱和，口径会被游戏化，唯有“分层评测 + 多口径统计 + 轨迹审查”这套方法论，能帮你在下一次“AGI 宣称”出现时保持清醒。