综合分停滞而专项暴涨，大模型评测的分层逻辑

一、一个越来越常见的“矛盾”现象

在新一轮模型迭代中，一种颇具迷惑性的现象反复出现：在某个被广泛引用的通用智力基准上，新一代模型的综合得分与前代几乎持平，甚至略低于同期其他方案；但换到终端任务、科学推理、安全审计、抽象推理等专项基准上，同一批模型的得分却出现了数量级的跃升。

如果只看第一张表，结论很容易滑向“这一代没什么进步”。但把两类评测放在一起看，真正的信息才浮现出来：模型的能力结构正在发生变化，而单一综合分数对这种变化的敏感度正在快速下降。

这不是某一家模型的特例，而是当前评测体系与模型能力演进之间出现错位的必然结果。理解这种错位，对做技术选型、做 Agent 产品、做内部评测平台建设的团队都有直接价值。

二、通用基准为什么会“钝化”

通用智力基准的设计初衷，是用一批覆盖多学科、多题型的高难度问题，压缩成一个可比的总分。它在模型能力尚处于快速爬坡期时非常有效，因为那时不同模型之间的差距是“能不能做对”的差距。但当头部模型普遍跨过某个门槛后，这类基准会同时遭遇三个问题：

第一，天花板效应与区分度衰减。 当多数强模型的正确率集中在相近的高位区间，分数的方差被压缩，微小的分数差异更多反映采样噪声与提示工程差异，而非真实能力差距。此时“涨 2 分”和“跌 2 分”在统计上可能并不显著。

第二，题型分布与真实任务的偏移。 通用基准多以一次性问答形式呈现，输入完整、目标明确、无需多步交互。而真实生产任务往往是长程的、需要调用工具、需要在中途根据环境反馈调整策略。前者测的是“知识可及性”，后者测的是“任务完成能力”，两者并非同一维度。

第三，训练数据污染带来的信度下降。 公开基准一旦被广泛用于调优参考，其作为“未见过的考题”的属性就会被削弱，分数上涨可能部分来自对题型分布的适配，而非泛化能力的提升。这也是为什么越来越多团队在选型时不再把公开榜单作为唯一依据。

结论是清晰的：通用总分仍然是一个有用的粗筛指标，但它已经不适合作为“能力是否进步”的唯一判据。

三、能力维度本身是不可通约的

“综合分没涨，所以模型没变强”这一推论成立的前提，是不同能力可以被线性加总到同一个标量上。这个假设在工程上并不成立。

知识召回、多步规划、工具调用、代码生成与调试、形式化推理、对抗条件下的鲁棒性，这些能力在模型内部对应的训练信号、数据分布与推理路径差异极大。一个模型完全可能在高难度学科知识上保持稳定，同时在长程任务执行上取得显著突破——因为后者的提升主要来自强化学习式的任务反馈、上下文管理策略与工具使用范式，而这部分能力几乎不会被纯问答型基准捕捉到。

换言之，分数不变不代表能力不变，只代表当前这把尺子量不到变化的那部分。 当模型的能力增长集中在“执行”而非“答题”上时，用答题型基准去衡量，自然会得出“停滞”的错觉。

四、任务级评测矩阵：把一把尺子拆成一组尺子

既然单一总分失真，合理的做法是构建分层评测矩阵。核心思路是：按任务族拆分，每族使用贴近真实工作流的评测方式，并同时记录效果指标与成本指标。

4.1 按任务族分层

建议至少覆盖以下几类，每类独立计分、不强行加权合并：

• 知识密集型任务：专家级问答、领域文档理解。关注正确率与事实一致性，需配合引用溯源评估。
• 终端与系统操作任务：在受控环境中完成文件处理、脚本编排、环境配置等目标。关注任务成功率、平均交互轮次、失败恢复率。
• 科学计算与形式化推理任务：需要多步推导、单位换算、结果校验的场景。关注最终答案正确率与中间步骤可核查性。
• 安全与对抗任务：在授权范围内对测试靶标做漏洞识别与利用验证。关注检出率、误报率与是否越界。
• 抽象归纳任务：从少量示例中归纳规则并外推到新样本。关注样本效率与外推正确率。
• Agent 长程任务：需要规划、工具调用、状态维护的复合任务。关注端到端完成率、步数消耗、人工接管次数。

4.2 指标不能只有“对/错”

任务型评测的价值在于它天然携带过程信息。建议每条任务记录如下结构化结果：

result = {
    "task_id": "term-0042",
    "family": "terminal_ops",
    "success": True,
    "steps": 17,
    "tool_calls": 23,
    "recovered_from_error": True,
    "latency_ms": 41200,
    "token_cost": 18500,
    "human_intervention": 0,
}

基于这类记录，可以派生出成功率、平均步数、错误恢复率、单位任务成本等一组指标。相比单一总分，这组指标能直接回答“这个模型在我的场景里能不能用、用得起、稳不稳”。

4.3 评测集构建的几条原则

• 私有集优先：从真实业务日志中脱敏抽取任务，保证未被公开语料覆盖。
• 难度分层：每个任务族内部分为易、中、难三档，避免整体被少数超难题拉偏。
• 可复现环境：任务型评测必须容器化，固定依赖版本与初始状态，否则结果无法横向对比。
• 定期轮换：按季度替换一定比例样本，降低过拟合风险。

agent-">五、为什么 Agent 与自动化场景会放大差异

在单轮问答中，模型能力的差异表现为“答对或答错”；而在 Agent 场景中，差异会被误差累积放大。

一个需要 20 步完成的任务，如果单步正确率是 95%，端到端成功率约为 0.95²⁰ ≈ 36%；若单步正确率提升到 98%，端到端成功率约为 0.98²⁰ ≈ 67%。单步能力的小幅提升，在长程任务上会转化为接近翻倍的完成率差异。

这解释了一个常见观察：某些模型在通用基准上分数相近，但在终端操作、自动化流程类评测中拉开巨大差距。差距的来源不是“知识更多”，而是规划稳定性、工具调用准确性、错误检测与回滚能力——这些恰恰是通用基准几乎不覆盖的维度。

对工程团队的直接启示是：如果你的产品形态是 Agent，那么通用榜单的参考权重应该显著下调，任务级端到端评测的权重应该上调。

六、把评测做成持续回归，而不是一次性选型

评测矩阵的价值不止于选型，更在于持续观测。建议把评测流程接入研发流水线：

1. 每次模型版本变更、提示模板调整、工具描述修改，自动触发全量或抽样评测；
2. 结果写入时序存储，按任务族绘制趋势曲线；
3. 对成功率下降超过阈值的任务族自动告警；
4. 保留失败样本与完整执行轨迹，用于归因分析。

在云上落地时，可以用容器平台承载隔离的评测环境，用对象存储归档执行轨迹与样本集，用消息队列解耦任务分发与结果回收，用日志与监控服务做趋势观测与告警。这些都是通用类目能力，按需组合即可，不必绑定特定实现。

七、结论

“综合分没涨、专项分暴涨”并不是矛盾，而是评测粒度与能力演进方向不匹配的必然表现。通用智力基准仍然有效，但它衡量的是知识可及性这一较窄的切面；当模型的增量能力集中在规划、执行、工具使用与错误恢复上时，这把尺子自然会显得迟钝。

对技术决策者而言，务实的做法是：用通用基准做粗筛，用任务级分层评测做决策，用持续回归做保障。 把评测从“一张表”变成“一组表”，从“一次比较”变成“一条曲线”，才能真正看清模型迭代带来的实际收益，也才能避免被单一分数误导而错过真正适合自身场景的能力跃升。