如何理性评估新一代大模型的AGI宣称

一、先区分“模型发布”与“AGI到来”

当一个新一代大模型发布，并宣称其“全球最智能”甚至代表人类进入通用人工智能时代时，最需要警惕的并不是模型能力提升本身，而是概念被过度压缩的问题。

“模型能力显著增强”和“AGI已经实现”并不是同一个命题。

前者通常可以通过一组可重复的测试来验证，例如：

• 数学推理正确率明显提升；
• 科学问题分析能力增强；
• 长上下文中的信息整合更加稳定；
• 能够连续操作终端环境并完成复杂任务；
• 在代码调试、系统诊断、漏洞分析等场景中表现更强；
• 面对陌生规则时，具备更好的归纳、试错和规划能力。

而后者涉及更加宽泛的判断：系统是否具备跨领域迁移能力，是否能够长期自主完成目标，是否可以在开放环境中持续学习，是否能够处理不确定信息，并在没有人工拆解任务的情况下完成从目标理解到结果交付的完整闭环。

因此，更严谨的表述应当是：某些新模型可能在研究型推理、工具使用和复杂任务执行方面出现了明显跃迁，但这并不自动等价于AGI已经被严格证明。

二、真正值得关注的能力，不是普通问答

如果只用写摘要、生成网页、改写文案或回答常识问题来体验新模型，往往很难感受到顶尖模型的核心变化。这些任务虽然使用频率高，但大多具有明确输入、明确输出和较短执行链路，模型即使出现错误，也比较容易通过人工修正。

新一代模型更值得观察的，是以下几类能力。

1. 陌生规则归纳能力

传统语言模型往往擅长从已有模式中生成答案，但面对没有见过的规则、样例和约束时，容易出现“看似合理、实则错误”的推断。

更高阶的测试会给模型一组新规则，要求它自行发现规律，再将规律应用到未见过的问题中。这类任务考验的不是记忆，而是：

• 对输入结构的抽象能力；
• 对变量关系的识别能力；
• 根据反馈修正假设的能力；
• 将局部规律迁移到新场景的能力。

如果一个系统在这类任务上表现稳定，说明它已经不再局限于简单的模式复现，而是具备了一定的归纳和问题建模能力。

2. 长程任务规划能力

复杂任务通常不是一次生成答案，而是由多个步骤组成。例如，系统需要先理解目标，再查找资料，随后执行计算、运行程序、分析错误，最后整理结果并验证结论。

这类任务的难点在于，前一步的错误可能会影响后续全部流程。模型需要持续维护任务状态，并在中途出现异常时重新规划，而不是机械地执行固定步骤。

因此，评估长程推理时，应重点观察：

• 能否将模糊目标拆解为可执行步骤；
• 能否根据中间结果动态调整方案；
• 能否识别失败原因，而不是重复错误操作；
• 能否保存关键上下文；
• 能否在最终交付前进行自检和复核。

这比单轮问答更接近真实工作环境，也更能体现系统是否具备“行动智能”。

三、如何理解高分榜单中的巨大提升

面对某些测试项目从较低分数快速提升到接近满分，不能直接将其解释为模型整体智能水平实现了同等幅度增长。

首先，不同测试的难度分布并不均匀。有些基准在低分区间能够很好地区分模型，一旦达到较高水平，题目区分度便会迅速下降。此时，即使模型能力仍在提升，分数也可能集中在接近满分的区域，无法继续反映真实差异。

其次，测试结果可能来自不同的运行条件。需要明确区分以下几种情况：

1. 纯模型结果：只使用模型本身生成答案。
2. 工具增强结果：允许模型调用搜索、计算、代码执行或外部数据源。
3. 多轮代理结果：模型可以反复尝试，并根据反馈修正方案。
4. 系统级结果：加入记忆、任务编排、状态管理和人工设计的执行框架。

这几类结果不能混为一谈。系统级成绩当然具有实际价值，但它衡量的是“模型加工具加流程”的综合能力，而不是单独模型的能力。

另外，一些评测会采用多次采样策略。所谓“多次尝试后至少成功一次”的结果，与“一次生成就正确”的结果，含义完全不同。前者更适合衡量系统在允许重试时的任务完成概率，后者则更接近模型本身的稳定性。

因此，发布评测结果时，至少应同时披露：

• 测试集是否公开；
• 是否存在训练数据泄漏；
• 是否允许调用工具；
• 是否允许多次尝试；
• 是否保留任务状态；
• 是否包含人工设计的提示模板；
• 是否采用自动评分；
• 失败案例的具体分布。

只有这些信息足够透明，分数才具有可比性。

四、科研与工程任务中的能力跃迁意味着什么

相比日常写作和普通代码生成，科研分析、系统诊断、复杂数学推理等任务更能体现模型的上限。

1. 科学计算与实验流程

在真实科研环境中，模型不仅需要回答问题，还需要处理数据、编写脚本、运行实验、读取日志，并根据结果决定下一步操作。

这要求系统具备完整的工作链路：

“问题理解—方案设计—工具调用—结果分析—异常处理—结论验证”。

其中任何一环不稳定，最终结果都可能失效。例如，模型可能选择了错误的数据处理方式，也可能忽略实验条件变化，甚至将程序运行成功误认为科学结论正确。

因此，科研型智能的关键不是“能够写出一段代码”，而是“能够围绕一个目标完成可验证的研究过程”。

2. 数学与形式化推理

高难度数学任务可以考察模型是否具备严密的多步推理能力。尤其是需要构造证明、发现反例或处理复杂约束的问题，单纯依靠语言流畅性通常无法完成。

但即使模型在高级数学测试中取得很高成绩，也不能直接推断其已经掌握了普遍意义上的科学创造力。原因在于：

• 测试题可能存在有限范围；
• 题目格式可能被模型适应；
• 自动评分通常只检查最终结论；
• 正确答案不一定代表推理过程完全可靠；
• 数学能力无法覆盖现实世界中的感知、行动和社会协作。

更可靠的评价方式，是同时检查最终答案、推导过程、边界条件和独立复核结果。

3. 系统安全与故障诊断

在二进制分析、漏洞验证、服务故障定位等任务中，模型如果能够理解复杂系统状态，并连续执行多步操作，说明其工具使用能力和环境建模能力已经达到较高水平。

不过，这类能力也必须在受控环境中进行验证。安全领域的测试应遵循最小权限、隔离运行、可回滚和全量审计原则，避免将实验能力直接迁移到真实生产系统。

从工程角度看，最重要的并不是系统能否偶尔完成高难度任务，而是它是否能够：

• 稳定识别高风险操作；
• 在权限不足时主动停止；
• 对不确定结论明确标注；
• 保留完整操作记录；
• 在执行前进行影响评估；
• 出现异常后及时回滚。

五、为什么“达到AGI”仍然需要谨慎判断

通用人工智能并没有一个所有研究者都认可的单一验收标准。不同观点可能强调不同方面，包括跨领域能力、自主学习、长期规划、现实世界交互、知识迁移、目标理解和社会协作。

因此，判断一个系统是否达到AGI，至少要回答以下问题：

能否跨领域迁移？

模型在数学任务中表现优秀，并不意味着它在医学、法律、工程管理或实际运营中同样可靠。真正的通用性要求能力能够跨越不同知识体系和任务形式。

能否持续学习？

如果模型只能依靠固定训练数据，而无法根据新环境、新反馈和新规则持续更新，那么它更接近强大的静态工具，而不是具备持续适应能力的智能体。

能否长期自主运行？

完成一个十分钟任务与连续运行数小时、数天甚至更长时间，是完全不同的难度。长期运行会暴露记忆漂移、目标偏移、错误累积和资源管理等问题。

能否理解现实约束？

真实世界中的任务往往包含预算、权限、时间、合规、安全和人员协作等限制。一个只在封闭测试环境中表现优秀的系统，未必能够胜任开放环境工作。

是否具备可靠的自我校验？

高水平智能不仅要给出答案，还要知道什么时候可能出错，并主动寻找证据进行验证。如果系统无法区分确定结论和猜测内容，那么它的实际可用性仍然有限。

六、企业和开发者应如何进行实测

与其追逐发布会上的单项成绩，不如建立面向自身业务的评测体系。

第一步是准备真实任务集。任务应来自实际工作流程，而不是只使用公开题目。可以覆盖代码维护、日志分析、数据处理、技术文档编写、故障排查和流程自动化等场景。

第二步是划分任务难度：

• 单步骤任务；
• 多步骤任务；
• 需要外部工具的任务；
• 需要长期记忆的任务；
• 需要人工审批的高风险任务。

第三步是定义多维指标，而不仅是“答对率”。建议同时记录：

• 任务完成率；
• 首次成功率；
• 平均重试次数；
• 结果准确性；
• 过程可解释性；
• 错误恢复能力；
• 执行成本；
• 响应延迟；
• 安全违规次数；
• 人工修正时间。

第四步是建立人工复核机制。对于技术方案、生产变更、数据分析和安全操作等任务，不能只依赖自动评分，应由领域专家检查结果是否真正可用。

第五步是采用灰度上线。可以先让模型承担低风险、可回滚的辅助工作，再逐步扩展到复杂流程。涉及生产环境时，应配置权限隔离、操作审批、日志审计和异常告警。

七、对“研究型智能成熟”的合理评价

综合来看，新一代大模型最值得肯定的方向，可能并不是普通聊天体验发生了翻天覆地的变化，而是研究型任务和复杂操作能力逐渐成熟。

当模型能够理解陌生规则、规划长流程、使用工具、分析实验结果，并在失败后重新组织方案时，它就从“文本生成器”向“任务执行系统”迈进了一步。

但这仍然不能简单等同于人类已经进入AGI时代。更稳妥的判断是：人工智能正在从单轮响应阶段，进入具备推理、行动、反馈和协作能力的系统化阶段。它可能已经在部分专业任务上达到甚至超过普通人的水平，却仍然在可靠性、持续学习、现实理解、责任边界和自主控制方面存在明显限制。

因此，评价这类模型时，既不应因为宣传口号而盲目乐观，也不应因为日常聊天体验变化有限而低估其技术进步。真正有价值的判断，应该建立在透明评测、真实任务、长期运行和失败分析之上。

最终，AGI是否已经到来并不是一个只靠单次发布会就能回答的问题。更值得关注的是，模型是否正在稳定地承担过去需要专业人员完成的复杂工作，以及人类是否已经建立起足够可靠的验证、治理和协作机制。