如何理性评估大模型智能水平与AGI进展

一、刷屏与口号之后：我们需要一套自己的评估框架

每当头部AI公司发布新旗舰模型，舆论场上总会重演相似的一幕：社交平台凌晨刷屏、官方喊出“欢迎来到AGI时代”式的口号、把“史上最智能、对齐程度最高”写进通稿，甚至有用户调侃“要不别发布了，让现在的版本每天重置就挺好”。这些声音混杂着兴奋、焦虑与营销话术，对开发者而言几乎没有决策价值。

真正值得回答的问题是：面对一个刚发布的模型，我们如何独立判断它到底有多强？“智能程度最高”这一说法，究竟指哪个维度上的最高？本文抽象出一套不依赖任何具体厂商的评估方法论，帮助你在下一轮刷屏到来时保持清醒。

二、读懂跑分：三个最常见的认知陷阱

1. 榜单饱和：分数接近上限时，排名只是噪声

近期常有“榜单已经测不出模型上限”的说法，这句话恰恰暴露了基准测试的阶段性问题：当一个基准被头部模型普遍做到接近满分，它对真实差距的区分度就趋近于零。此时榜单上1~2分的波动，很可能来自采样温度、提示词模板、判分脚本版本等工程细节，而非能力差异。

启示：看到“全面领先”的宣传时，先确认该基准是否已进入饱和区。若头部模型普遍在85分以上，87分与89分没有实质区别。

2. 综合智能与专项能力不可互相替代

更常见的情况是“各有领先”。以下数字仅为示意，用于说明解读方法：假设某新旗舰在综合智能类指数（衡量推理、数学、知识等通识能力的加权总分）上与上代旗舰持平，却被竞品高出数分；但它在编程智能体专项上反超，在桌面自动化操作基准上率先突破70%完成率，在安全攻防评测上拿到满分。

这意味着综合智能（想得多深）与智能体执行（活干得多好）是两条相对独立的曲线。厂商之间的差距是结构性、维度性的，“谁是第一”取决于你的任务分布落在哪条曲线上。

3. 数据污染与基准的“保鲜期”

公开基准几乎必然进入训练语料的辐射范围，模型可能“背题”而非“会做”。这就是新基准的高分红利期通常只有几个月的原因。更可靠的对抗手段包括：

• 用私有业务数据构建评测集；
• 采用不公开的隐匿题库；
• 引入人工盲评与成对比较（pairwise）。

三、“更聪明”还是“更能干活”：智能体时代的评价坐标系

1. 两类能力，两条曲线

智能体执行能力具体包括：多工具链式调用与失败重试、浏览器/终端/图形界面的感知与操作、以及长任务中的分解、状态维护与错误恢复。一个综合分稍逊的模型完全可能在执行维度大幅领先——这正是近期多款旗舰模型呈现出“聪明程度接近，但干活能力分化”的原因。

2. 环境操作能力为何成为分水岭

业内常说的Computer Use类能力，本质是“感知—规划—执行—校验”的闭环：

1. 感知：从截图或界面结构中定位元素；
2. 规划：把模糊目标拆解为原子操作序列；
3. 执行：生成点击、输入、滚动等动作；
4. 校验：核对界面状态，失败则回退或重新规划。

它的难点在于动作序列长、容错率低、环境不可枚举——一个弹窗、一次网络抖动都可能导致失败。训练此类能力需要海量真实环境交互数据，这也是近期出现厂商批量采购大量民用级消费电脑搭建训练环境这一行业现象的原因：真实界面的多样性与真实软件行为，是仿真环境难以完全替代的。

工程上有个经验性判断：当完成率从“能演示”跃升到70%以上、平均耗时较上一代下降近一半时，该能力开始具备生产可用的资格，从“有趣”变成“有用”。但要提醒：安全攻防评测打满分不等于绝对安全，评测的攻击面覆盖有限，满分不能外推为“无风险”。

3. 算成本：单任务成本比单价更重要

评估性价比时，比“每百万token单价”更有意义的是三个任务级指标：一次通过率、单任务成本、单任务时延。行业常见的对比形态是：新一代旗舰在最高推理强度下成本与上代持平但得分更高，或端到端单任务成本仅为竞品一半以下。可用一个朴素公式刻画：

性价比 ≈ 任务通过率 ÷（单任务成本 × 单任务时延）

注意：一次通过率提升会同时降低返工与人工复核成本，因此真实业务中，“略贵但更稳”的模型往往是更便宜的那个。

四、AGI了吗：答案取决于你采用哪个定义

功能性定义（AI在大多数认知任务上达到或超过人类水平）：按现有基准，头部模型确实已在数学、代码、多语言理解、复杂文档处理等大量单项上达标，我们已走完大半路程。

语义性定义（真正理解世界、具备自主意识）：答案显然是否定的。幻觉、长程一致性不足、因果推理脆弱、缺乏持续学习与自主目标等结构性短板仍然存在——模型能模仿“理解”的输出形态，但“理解”本身仍是开放问题。

“AGI到了”的宣言每逢发布会都会出现，因为它同时满足营销需要与基准跳跃式进步带来的直观冲击。理性立场是：AGI是方向性概念，不是某场发布会可以宣布的事件。更有用的做法是放弃二元判断，转而追踪能力边界：它现在能稳定完成什么，不能完成什么。

五、滚雪球：AI训练AI的飞轮与风险

从公开信息看，头部模型训练已进入十万卡级智算集群的时代，而更大的变化在数据侧：模型生成合成数据、充当训练裁判、自我博弈产出高质量轨迹，再反哺训练。这条“AI训练AI”的飞轮一旦转起来，能力提升会呈现滚雪球式加速。

但风险同样真实：长期以自身输出为食可能导致模型坍缩（分布收窄、多样性下降）；裁判模型的偏差会被下游放大；能力越强，公开基准失效越快。因此数据配比控制、人工抽样校验、评测体系持续进化，与模型本身同等重要。

六、开发者落地清单：把评测权拿回自己手里

与其追逐榜单，不如自建评测流水线：

1. 构建私有golden set：从真实业务抽取任务并按难度分层，为每条数据编写自动判定函数（单元测试、字段比对、操作结果断言）；
2. 任务级三维记录：每次评测记录通过率、单任务成本、单任务时延，而非只看总分；
3. 分层评测：基础能力、智能体能力、安全与对齐（注入攻击、越权操作）分开测；
4. 回归与灰度：模型版本或提示词任何变更，先跑回归再放量；
5. 善用云上通用工具链：借助对象存储管理评测数据、日志服务沉淀调用记录、监控告警盯住时延与成本异常；国内开发者也可以基于百度智能云等平台提供的模型服务与配套工具能力，在自有业务数据上完成同样的对比实验。

一个最小可用的评测框架示意（伪代码）：

import time
from statistics import mean
TASKS = load_tasks("golden_set.jsonl")  # 自建评测集：prompt、所需工具、判定函数
def evaluate(client, tasks, effort="standard"):
    records = []
    for t in tasks:
        t0 = time.time()
        resp = client.run(prompt=t.prompt, tools=t.tools, effort=effort)
        records.append({
            "pass": t.check(resp.output),   # 业务自定义判定
            "cost": resp.usage_cost,        # 单任务成本
            "latency": time.time() - t0,
        })
    return {
        "pass_rate": mean(r["pass"] for r in records),
        "cost_per_task": mean(r["cost"] for r in records),
        "latency": mean(r["latency"] for r in records),
    }
report = evaluate(client, TASKS, effort="max")
# 决策依据：在满足通过率阈值的前提下，选择性价比最高者

七、结语

回到最初的问题：“目前智能程度最高的模型是谁？”严谨的回答是：不存在无条件的最高。综合智能、智能体执行、环境操作、成本效率是几条不同的曲线，任何旗舰模型都只在其中一两条上领先。至于AGI，按功能性定义我们已行至半途，按语义性定义仍路途遥远——它是过程，不是时点。

对开发者而言，真正重要的从来不是“谁的分数高”，而是“在我的任务分布上，哪个模型以最低的单位成本交付了合格的质量”。把评测权从榜单拿回自己手里，是这一轮AI浪潮中最值得建立的能力。