从“AGI已到来”看通用模型能力评估

近年来，通用人工智能再次成为技术行业的热门话题。当某个新模型在复杂推理、代码生成、视觉理解或智能体任务上取得极高成绩时，发布方往往会进一步提出“人类已经进入通用人工智能时代”之类的判断。此类表述具有很强的传播力，但从技术评估角度看，单次发布、单项基准或单个演示，都不足以直接证明通用人工智能已经实现。

更稳妥的做法，是将“模型能力提升”和“AGI时代到来”拆分为两个不同问题：前者关注模型在具体任务上的效果，后者则涉及能力的广度、稳定性、迁移性、自主性、成本和安全边界。只有当模型在这些维度上同时达到较高水平，并且能够在开放环境中持续完成真实工作，才有必要讨论其是否接近通用智能。

一、为什么基准测试高分不能直接等同于AGI

基准测试的价值在于提供相对统一的比较标准，但它本质上仍是一个有限任务集合。模型可能在训练过程中接触过相似题型，也可能通过针对性优化适应题目分布。因此，高分通常只能说明模型在特定任务和特定规则下表现良好。

一个完整的能力判断至少需要回答以下问题：

1. 测试内容是否真正保密；
2. 题目是否覆盖多个领域和多种任务形态；
3. 模型是否能够处理从未见过的任务；
4. 结果是否可以在不同环境、不同提示方式和不同执行条件下复现；
5. 模型是否具备持续规划、纠错和利用外部工具的能力。

如果评测题目结构固定，模型只需要学习解题模式，就可能出现“测试成绩很高、真实使用效果一般”的情况。尤其在推理类任务中，样本数量有限、题型相对稳定时，分数容易受到数据污染、提示模板和解题策略的影响。

因此，基准分数更适合被视为一项观测值，而不是关于模型整体智能水平的最终结论。

二、评测脚手架可能改变测试结果

所谓评测脚手架，是指围绕模型设置的辅助机制，包括提示词模板、任务拆解器、自动重试、外部检索、代码执行环境、记忆模块、结果筛选器以及多轮规划流程等。

这些组件并非没有价值。现实应用中的智能系统本来就不应只依赖一次模型调用，合理使用工具能够显著提高任务完成率。但问题在于，评测报告必须明确区分“基础模型能力”和“系统工程能力”。

例如，同一个模型可能存在以下几种不同成绩：

• 直接回答一次的结果；
• 允许模型多轮思考后的结果；
• 配备搜索或计算工具后的结果；
• 由多个模型协作完成后的结果；
• 经过自动筛选和重试后的最终结果。

这些结果都可以有参考价值，但不能混为一谈。如果发布方选择最有利的系统配置，却将最终成绩描述为模型本身的能力，就会造成认知偏差。

部分公开评测中曾出现过接近满分的“饱和成绩”，但在更严格、统一、限制辅助条件的环境下，成绩明显下降。这种差异并不一定意味着模型没有进步，却说明评测结果高度依赖测试协议。对于开发者而言，真正重要的不是“最高分是多少”，而是模型在明确约束下是否稳定、可复现、可解释。

三、应重点考察泛化能力，而不是记忆能力

通用智能的关键特征之一，是面对新问题时能够迁移已有知识和方法，而不是只在熟悉题型上表现优秀。

评估泛化能力，可以从几个方向展开：

1. 任务迁移

让模型从已知领域迁移到陌生领域，例如从文本规则理解迁移到表格分析、流程设计或复杂业务判断。若模型只会在训练分布相近的任务中工作，说明其能力仍然存在较强边界。

2. 条件变化

改变问题中的约束、输入格式、目标顺序或资源限制，观察模型是否能够重新规划，而不是机械套用旧答案。

3. 长程任务

将任务拆成多个阶段，要求模型持续维护目标、记录中间状态、验证结果并在失败后恢复。许多模型在短问答中表现出色，但在长流程中容易遗忘上下文、重复操作或偏离目标。

4. 对抗性输入

引入歧义、错误信息、异常格式和不完整需求，检验模型能否识别不确定性。真正可靠的系统不应在所有问题上都给出确定答案，而应在证据不足时主动提出澄清问题。

四、综合智能指数也不能替代真实工作验证

将多个测试汇总成一个综合分数，有助于快速比较不同系统，但综合指标仍然依赖权重设计和样本选择。

如果一个指标包含大量知识问答，却较少考察任务执行，那么它可能更接近“知识检索能力”；如果主要测试数学和代码，又可能无法反映沟通、规划、审查和风险控制能力。不同场景的权重也不相同：研发团队更关注代码正确率和调试能力，企业运营更关注流程稳定性和数据安全，客服场景则重视事实准确性和表达一致性。

因此，企业不应只看排行榜，而应建立与自身业务相关的任务集。一个可操作的评测集合可以包括：

• 真实历史任务；
• 脱敏后的典型工单；
• 高风险异常案例；
• 新规则和新格式样本；
• 需要人工协作的复杂流程；
• 对结果可解释性有要求的任务。

最终评价应同时记录成功率、错误类型、人工修正时间、平均响应延迟、资源消耗和异常恢复能力。

五、成本是判断模型可用性的重要维度

模型能力与模型可用性并不是同一个概念。即使某个系统在理想环境下取得很高成绩，如果调用成本过高、响应时间过长、资源需求复杂，也可能难以进入大规模生产。

成本至少包括以下几部分：

1. 输入与输出计算成本；
2. 多轮调用、自动重试和任务分解带来的额外消耗；
3. 检索、存储、日志和工具执行费用；
4. 模型响应延迟造成的业务等待成本；
5. 错误结果引发的审核、返工和风险处置成本。

在实际部署中，不能只计算一次调用的价格，而应计算“完成一个有效任务的总成本”。如果一个任务平均需要多轮推理、工具调用和人工复核，那么单次接口价格并不能代表真实投入。

可以使用下面的思路进行估算：

单位任务总成本 =
模型调用成本
+ 工具与存储成本
+ 人工审核成本
+ 失败重试成本
+ 延迟造成的业务成本

同时还要观察成本与质量之间的关系。如果将资源投入提高一倍，任务成功率只提升很小幅度，那么该方案可能已经接近边际收益递减区间。

六、如何建立更可靠的模型评测体系

一个适合企业和开发团队的评测流程，可以分为五步。

第一步：定义任务边界

明确模型要解决什么问题，不要使用“全面智能”“接近人类”这类无法直接验收的表述。应改写为可测试目标，例如“自动完成某类文档初稿”“识别指定类型的异常”“在给定工具权限下完成流程操作”。

第二步：建立分层数据集

数据集应同时包含简单、常规、复杂、异常和未知任务。还要保留一部分不公开的测试样本，避免模型针对公开题目进行过度优化。

第三步：固定评测协议

需要明确模型版本、提示方式、工具权限、最大轮数、超时时间、是否允许重试以及评分规则。任何一个条件变化，都可能导致结果不可直接比较。

第四步：记录错误而非只记录分数

错误分类比单一准确率更有价值。应区分事实错误、逻辑错误、格式错误、工具误用、拒答不当、上下文遗忘和安全风险等类型。只有知道模型“错在哪里”，才能决定是否适合上线。

第五步：进行线上灰度验证

离线成绩只能作为初筛依据。上线前应通过小流量、人工抽检和可回滚机制验证真实效果，并设置异常告警、权限控制和审计日志。

七、如何理解“AGI时代来了”这类表述

从技术严谨性看，“AGI”目前仍缺少所有人都认可的统一验收标准。它可能被理解为具备广泛知识，也可能被理解为能够自主完成跨领域工作，甚至被理解为在多数认知任务上达到普通人的综合水平。

因此，面对相关宣传，建议将结论拆成三个层次：

• 能力事实：模型在哪些任务上取得了什么结果；
• 工程事实：结果需要哪些工具、资源和运行条件；
• 价值判断：这些进展是否足以称为通用人工智能。

前两层可以通过实验和数据验证，第三层则涉及定义和标准，不能仅凭一次发布会或一项高分得出结论。

结语

新一代通用模型在推理、代码、内容生成和工具调用方面持续进步，这是值得肯定的技术事实。但“能力显著提升”并不自动等于“通用人工智能已经实现”。当评测成绩受到脚手架、提示模板、数据分布和资源投入显著影响时，更应关注测试条件是否透明、结果能否复现以及模型能否在真实业务中稳定完成任务。

对开发者和企业而言，最有价值的判断方式不是追逐单一榜单，而是建立一套面向真实需求的评测体系：既看能力上限，也看普通条件下的稳定表现；既看准确率，也看成本、延迟、风险和维护难度。只有经过长期、开放、可复现的验证，关于“AGI是否到来”的结论才具备真正的技术说服力。