大模型基准跃迁与"AGI时代"宣言的技术冷思考

一、从一次”基准地震”说起：现象与问题

近期，某厂商发布的新一代前沿模型引发广泛讨论。据公开信息，其成绩呈现出一种典型的”基准地震”形态：在一项考察陌生交互式任务中持续学习能力的抽象推理基准上，官方评测框架下的得分从上代不足一成的水平，跃升至六成以上；若换用厂商自行适配、可保留历史消息与推理上下文的评测框架，成绩则逼近满分，以至于有研究者公开宣称该基准”已经饱和”。在分级前沿数学评测上接近跑满，在考察漏洞利用能力的评测上取得满分；在模拟真实延迟的操作系统级评测中，完成率从约六成半提升到七成出头，单个任务的平均耗时下降近一半；在专业软件界面定位评测上也刷新了纪录，超过九成。

比分数更吸睛的，是配套演示：一段压缩视频展示了模型直接在电路设计软件中完成印刷电路板布局——放置元器件、连接线路，把电子原理图一步步推进为可制造的电路板。这类演示传递的信号很强：当模型的计算机操作能力跨过某个阈值，”AI 解放双手”似乎从口号变成了排期表。

但作为技术人员，我们的第一反应不应是转发，而应是提问：这些数字到底测量了什么？逼近满分的成绩是在测模型，还是在测”模型加脚手架”的系统？基准饱和与”AGI 时代”之间，隔着多少条尚未被证明的假设？本文尝试把这次事件当作一个方法论样本，完成三件事：拆解分数的构成、识别真正的能力信号、给出可复用的评估框架。

二、先厘清概念：评测饱和不等于通用智能

2.1 基准测试的三重功能

一个评测基准在工程上通常承担三种角色。第一是能力探针：用一组受控任务估计模型在某维度上的水平，例如抽象推理、长程规划或工具调用。第二是回归测试：模型迭代时防止能力回退，类似软件里的单元测试。第三是叙事工具：发布方用它向市场、资本与政策制定者讲故事。三者本不冲突，问题在于叙事的传播速度远快于前两项的验证速度。当”接近满分”被直接翻译为”进入新时代”，叙事就僭越了探针的证据强度。

2.2 古德哈特定律与被优化的度量

经济学中的古德哈特定律指出：当一项度量成为目标，它就不再是好的度量。套用到模型评测上，逼近满分通常至少意味着以下三种情况之一：任务分布已被训练信号充分覆盖，存在评测污染或记忆泄漏；或者评测本身被针对性优化（脚手架、提示词、采样策略精调）。这三种情况都不等于”能力在该维度上封顶”。因此，看到”跑满”二字，正确的动作不是宣布终局，而是追问：失败样本去了哪里？换一批同难度新题，分数还剩多少？把评测框架换成中立实现，结论是否稳定？

三、分数是怎么被放大的：Harness 与脚手架之争

3.1 官方框架与自适配框架差在哪

同一份模型，官方通用框架下六成出头，厂商自适配框架下逼近满分——差异来自哪里？关键在于自适配框架往往允许保留历史消息与推理上下文：模型可以在交互任务中多轮试错、记住中间发现、回溯修正策略。对于”面对陌生规则、边做边学”的交互式任务，这等于把开卷考试与闭卷考试的成绩放在同一行比较。

3.2 系统能力不等于裸模型能力

这里需要一次刻意的概念切分。对 Agent 类任务而言，”模型加脚手架”的系统能力恰恰是用户真正买到的能力，因此自适配分数并非没有意义——它更接近真实部署形态。但它有一个硬性前提：横向对比必须统一协议。不同厂商各自适配框架、各自保留上下文，得出的分数之间不可比，也不应出现在同一张榜单上。工程师看榜单时，第一动作应是找到实验协议脚注：框架是谁实现的、上下文是否保留、预算多少、失败如何计分。

3.3 逼近满分往往提示评测失效

一个健康的基准，头部模型的成绩通常停在”明显好于随机、远未满分”的区间。逼近满分传递的反而是危险信号：要么任务族被覆盖，要么评分器只奖励了可被投机的行为（例如暴力枚举恰好命中）。这类信号应触发基准的迭代——提高任务新颖性、引入过程性评分、动态生成题目、做防污染设计——而不是触发庆功。

四、真正值得关注的信号：计算机操作能力的工程拐点

4.1 从”答对”到”做完”

如果这次发布里有什么值得开发者认真对待，我认为是操作类指标里那条容易被忽略的曲线：单任务耗时下降近一半。完成率从六成半到七成出头是能力问题，而耗时近乎腰斩是经济问题——它直接改写单位任务成本，决定一个 Agent 场景能否从演示走进预算。长时程、多步骤、可中断恢复的计算机操作（看截图、定位控件、执行点击与输入、处理弹窗与报错）一旦在延迟模拟环境下达到这个量级，意味着”模型替人操作软件”开始具备可核算的 ROI 模型。

4.2 宣传演示的长尾陷阱

与此同时，电路板布局这类演示必须按”剪辑样本”来解读，而不是按分布来解读。真实长尾包括：版本差异导致的界面漂移、权限弹窗、网络抖动、控件加载时序、软件崩溃后的恢复。演示展示的是轨迹的最优切片，交付面对的是失败率的积分。工程上正确的姿势是：把演示当作能力上限的存在性证明，再用自己的任务分布去测失败率的下限。

4.3 双刃剑：漏洞利用满分的双重含义

漏洞利用类评测拿到满分，一面说明模型具备真实的安全研究与红队价值，可以辅助防御方做审计与演练；另一面也明确了滥用风险的上限。企业侧落地的安全清单因此不是可选项：权限最小化、操作全程审计留痕、网络隔离沙箱、敏感动作人工确认、预算熔断。能力越强，这条护栏越要先行。

五、”AGI 时代”宣称的可证伪拆解

5.1 三条边界

能力边界：基准是分布内采样，真实世界是开放分布，附带物理约束、利益冲突与社会协作。在封闭交互环境里”边做边学”逼近满分，不等于能在规则每天变化的组织里持续学习。

经济边界：跑分成绩背后是推理上下文膨胀带来的 token 与时间成本。一个任务耗时四十分钟仍是小时级，距离”有经济价值的多数工作被替代”的任何一种 AGI 口径，都还隔着成本曲线。

治理边界：”进入某时代”的宣称会影响资本叙事与政策预期。技术人员能提供的最大价值，是把口号降维成可证伪的假设：什么任务、什么协议、什么成本、什么失败率。

5.2 把 AGI 拆成能力矩阵

一个务实的做法是把宏大的词拆成可独立计分的子能力：抽象推理与规则归纳、长程规划与状态追踪、工具与界面操作、持续学习（跨会话且不灾难性遗忘）、校准能力（知道自己不知道）、多模态接地（指哪打哪）、协作与交接。逐项给出证据等级：榜单证据、私有评测证据、生产证据。宣称是否成立，看矩阵而不是看烟花。

六、给开发者的任务级评估方法论

6.1 构建私有评测集

从真实工单、日志与操作轨迹中采样任务，脱敏后固化环境快照，保证每次评测从同一初始状态出发。公开榜单用于初筛，私有任务集用于决策——前者测相对水平，后者测对你的分布是否有效。

6.2 指标体系：别只记一个百分数

建议至少同时记录：任务成功率、部分完成率、步数与 token 成本、P95 延迟、人工接管率、安全事件数，以及失败模式标签（定位错、规划错、执行错、环境错）。示意配置如下：

suite: gui_ops_regression
environment:
  snapshot: golden_image      # 固定系统与软件版本
  reset: per_task             # 每个任务前回滚快照
scaffold:
  history: enabled            # 是否保留历史消息与推理上下文
  max_turns: 200
  budget: { tokens: 2000000, wall_clock_min: 90 }
metrics:
  task_success: binary
  partial_credit: 0..1
  cost_per_task: tokens+minutes
  human_takeover_rate: ratio
safety:
  sandbox: network_isolated
  audit: full_action_trace

6.3 评估循环的示意实现

def run_task(agent, task, env, grader, budget):
    env.reset(task.snapshot)          # 可复现的起点
    trace = []
    for _ in range(task.max_steps):
        obs = env.observe()           # 截图 / 可访问性树 / 窗口状态
        action = agent.act(obs, trace)
        trace.append((obs, action))   # 全程留痕，供审计与回放
        if grader.is_terminal(trace):
            break
        if budget.exceeded(trace):
            return Result("budget_exceeded", trace)
    return grader.score(trace)        # 成功/部分分/失败 + 失败模式

流程上采用影子运行、灰度放量、熔断回滚三段式：先让 Agent 只记录不执行，比对人工轨迹；再对低风险任务放量；任何越权动作触发即停。

6.4 用通用云基础设施承载评估流水线

这套东西并不需要 exotic 的设施：容器平台负责环境快照、并发评测与弹性扩缩；对象存储沉淀轨迹、截图与评分工件；消息队列削峰评测任务；日志服务与监控告警做全链路观测；密钥与权限管理划定安全边界。这类通用类目能力在主流云平台上都有对应形态，例如以百度智能云为代表的云平台即可按上述类目组合出完整的评估运行环境——选型的标准只有一条：可复现、可审计、可熔断，其余皆是实现细节。

七、结语：把”炸裂跑分”翻译成工程语言

面对又一次基准地震，建议做三个翻译：把分数翻译成能力剖面，追问协议与失败样本；把演示翻译成失败率积分，用自己的分布实测；把宣称翻译成可证伪假设，放进能力矩阵逐项取证。

这次事件真正值得记住的，也许不是某个逼近满分的数字，而是两个趋势的交汇：操作类能力的单位成本开始具备工程意义，而评测体系正因饱和而被迫进化。后饱和时代，护城河不再是榜单名次，而是私有的动态基准、红队演练与安全治理流程。对开发者而言，与其争论某个词是否已经到来，不如今天就把任务级评测流水线搭起来——新时代的门票，从来都是自己测出来的。