AGI 评测为何出现分数冲突：从基准测试差异看新一代模型能力跃迁

当一款被寄予厚望的新一代模型发布后，最先被传播的往往是一张综合跑分对比表。而这张表，常常也是第一波争议的来源。一个看似反常的现象反复出现：新一代模型的综合智力分数与上一代持平，甚至在某些维度上低于竞品，但它在自动化执行、终端操作、安全推理等专项测试中却呈现出指数级提升。

这种“分数冲突”背后，隐藏着一套关于模型能力评估的深层方法论问题。本文将从评测基准的设计逻辑出发，分析为什么综合分数会失真，以及开发者和企业用户应该如何建立更可靠的模型选型框架。

一、综合智力分数的结构性局限

综合智力分数通常由多个子项加权汇总而成，覆盖语言理解、知识问答、数学推理、代码生成等维度。这类评估体系的设计初衷是提供一个可横向比较的统一尺度，但它天然存在三个结构性局限。

第一，子项权重趋于平均化。 为了让总分看起来“公平”，综合评估往往给各子项分配相近的权重。问题在于，不同应用场景对各项能力的真实需求差异极大。一个主要用来做代码生成和自动化操作的模型，与一个主要用来做客服对话的模型，其关键能力维度完全不同。综合分数将这些异质能力压缩到同一个数字里，抹平了场景差异。

第二，天花板效应逐渐显现。 当模型能力达到一定水平后，传统知识问答和语言理解类测试的区分度急剧下降。假设上一代模型在某项测试中已经取得接近满分的成绩，新一代模型即便在底层能力上有实质突破，也无法在这项测试中体现出分数增长。综合分数因此停滞，形成“能力提升但跑分不涨”的假象。

第三，静态评测无法捕捉动态能力。 传统综合测试大多是单轮、静态、有明确标准答案的任务。而新一代模型的核心突破往往体现在多步规划、工具调用、环境交互和错误恢复等动态能力上。这些能力无法通过一道孤立的选择题或简答题来完整评估。

二、专项基准的指示意义

与综合分数形成鲜明对比的是，新一代模型在若干专项基准上的表现呈现出跨越式提升。这些专项基准之所以值得重视，是因为它们更接近真实世界中的复杂任务形态。

自动化执行基准衡量的是模型在给定目标后，自主规划步骤、调用工具、处理中间结果并最终完成任务的能力。这类测试通常涉及多步骤操作，模型需要在每一步做出正确决策，任何一环出错都会导致整体失败。上一代模型在这类测试中的得分普遍较低，说明其能力更多停留在“给出建议”层面，而非“自主完成”。新一代模型在此类基准上的大幅提升，意味着模型正在从信息提供者向任务执行者转变。

终端操作基准进一步提升了难度。模型需要在真实的命令行环境中完成文件操作、脚本编写、环境配置、错误排查等任务。这类测试不仅考察模型的代码能力，更考察其对操作系统语义的理解、对执行结果的判断以及对失败情况的恢复能力。一个典型的终端操作任务可能包含十几条相互依赖的命令，模型需要在看到前一条命令的输出后决定下一条命令的内容。

漏洞利用与安全推理基准考察的是模型在受限条件下的创造性问题解决能力。这类任务通常没有现成的标准答案，模型需要理解系统行为、发现潜在弱点并构造有效的利用方案。这一能力的提升，反映的是模型在底层推理和因果理解上的质变，而非单纯的模式匹配。

抽象推理基准则直接测试模型在面对全新规则时的学习和适应能力。这类测试刻意避免依赖训练数据中已有的知识，要求模型在测试过程中理解新规则、发现规律并给出正确回答。接近满分的成绩表明，模型具备了更强的从少量示例中归纳规律的能力。

三、分数冲突的根源：能力结构的分化

综合分数停滞与专项能力暴涨并存的现象，本质上反映了模型能力结构正在发生分化。

传统语言模型的能力分布相对均匀：一个在知识问答上表现好的模型，通常也能在文本摘要上取得不错的成绩。但新一代模型的能力分布开始呈现明显的非均匀特征。它们可能在传统语言任务上只有边际改进，但在工具使用、环境交互和自主规划上实现了质变。

这种能力分化的直接后果是：以传统语言任务为主体的综合评测体系，系统性地低估了新一代模型的实际价值。而专项基准的引入，恰恰补充了这一评估盲区。

从工程角度看，这种分化也是合理的。一个面向自动化执行场景的模型，其训练重点必然放在规划、工具调用和环境理解上，而非进一步优化已经接近天花板的知识问答能力。资源配置的倾斜导致了能力结构的分化，而能力结构的分化又导致了综合分数的失真。

四、开发者如何建立更可靠的评估框架

面对“综合分数失准”的问题，开发者和企业用户在模型选型时，需要建立一套超越单一数字的评估方法。

第一步是明确任务类型。 在评估任何模型之前，先回答一个问题：它要解决的核心任务是什么？如果是知识密集型问答，传统综合分数仍有参考价值。如果是自动化执行或多步骤规划，则必须引入专项基准。任务类型决定评估维度，而不是反过来用一个笼统的分数来指导所有场景的选型决策。

第二步是构建场景化测试集。 公共基准的意义在于横向比较，但公共基准与真实业务场景之间往往存在差距。更可靠的做法是，从实际业务中抽取一批有代表性的任务，构建内部测试集。这个测试集不需要很大，但必须覆盖真实使用中的典型失败模式，尤其是多步任务中的中间步骤判断、错误恢复和格式遵循等容易出问题的环节。

第三步是关注过程而非只看结果。 对于复杂任务，只看最终答案是远远不够的。模型是如何得出这个答案的？中间步骤是否合理？遇到错误时能否自我纠正？这些过程信息往往比单一的结果分数更能反映模型的实际可用性。评估时应当记录完整的执行轨迹，分析失败案例的共性原因，而不是仅仅统计通过率。

第四步是保持动态复评。 模型能力不是静态的。随着版本迭代和底层升级，同一模型在不同类型任务上的表现可能发生显著变化。建议将评估作为持续流程的一部分，定期用更新后的测试集复评关键指标，并将结果纳入技术选型的决策依据。

五、从“跑分”到“跑活”：能力评估的范式转换

综合分数冲突的现象，其实指向了一个更深层的变化：大模型的能力评估正在从“跑分”范式向“跑活”范式转换。

“跑分”范式假设存在一个统一的智力标尺，可以用一个数字概括模型的能力水平。这种范式在模型能力相对同质化的阶段是有效的，但当模型开始面向不同的应用方向进行差异化优化时，它的解释力就迅速衰减。

“跑活”范式则承认能力是多维的、场景化的，评估的核心不是给模型一个总分，而是判断它是否胜任特定类型的工作。在这种范式下，一个模型在综合分数上不如竞品，但能在自动化执行任务中显著胜出，它就是一个更好的选择——前提是你的任务确实是自动化执行。

这种范式转换对开发者的实际启示是：不要把公共基准分数当作选型的唯一依据，也不要因为综合分数没有提升就忽视专项能力的显著变化。建立与自身场景匹配的评估体系，关注过程信号，持续复评，才能做出真正可靠的技术决策。

评估基准的分数冲突不是模型的“翻车”，而是评估体系滞后于能力演进的信号。当新一代模型在动态、交互、多步任务上实现质变时，静态的综合分数自然无法完成有效度量。识别这一信号，调整评估方法，是开发者和企业用户从新技术中获取实际价值的第一步。