大模型评测分数可信吗？基准饱和与理性选型

一、从一则典型争议说起：满分与“不及格”可以同时为真

设想一个近期在技术社区反复上演的情形（以下数字仅作示意）：某厂商发布新一代大模型，在官方评测环境下报告了 99.9% 的基准成绩，并随之抛出“AGI 时代已经到来”的宏大叙事。与此同时，独立评测机构用标准脚手架对同一模型复测，只得到 62.7% 的分数——两者相差 37.2 个百分点，而这些差距几乎全部来自评测环境的差异。

两个数字都对，但它们回答的不是同一个问题。前者度量的是“模型 + 特权脚手架 + 定制评测协议”这一整套系统的上限，后者度量的是开发者在默认条件下真实可得的水平。理解这层区别，是理性看待一切能力宣传的起点：评测的对象从来不是模型本身，而是“模型 + 环境”组成的系统。

二、分数为什么会失真：四个主要来源

1. 数据污染与测试集泄漏

公开基准的题目大概率会混入网络语料，被模型在训练阶段“背过答案”。此时模型比拼的不是推理能力，而是记忆检索能力。常见对策包括：使用私有评测集并定期轮换、在题目中植入随机化要素（如变量名、人名、数值），以及用“金丝雀字符串”检测训练数据中是否混入了特定测试集。

2. 基准饱和与天花板效应

当一个公开基准被行业反复刷分，其区分度会迅速衰减。99.9% 这类“饱和成绩”的信息量趋近于零：它只能说明模型在该任务上已经触顶，无法再区分强弱。真正有价值的评测需要更难、更新、更贴近真实生产任务的题目，并且最好在公开前保持隔离。

3. 脚手架的“特权”

这正是那 37.2 分落差的根源。所谓脚手架，是围绕模型的一层工程包装，典型的“特权”包括：

• 工具与检索：允许调用外部工具、联网检索，弥补模型自身知识或计算的短板；
• 超长思考预算：让模型进行多轮自我纠错，把一次失败变成多次尝试；
• 多次采样取最优：重复生成多次后取最好结果，把单次失败藏进统计口径里。

在标准条件（默认参数、单次生成、无工具）下，这些特权被剥离，分数自然回落。因此，榜单高分属于“系统”，而不完全属于“模型”——而普通用户通过 API 拿到的，恰恰是不带特权的那个版本。

4. 口径不一致

同样是“准确率”，含义可能天差地别：pass@1 还是 pass@k？规则判分还是模型裁判？单次运行还是多次运行取均值？报告全量还是只报告擅长的子集？任何一项差异都足以制造两位数的分差。不写清口径的分数，几乎没有比较价值。

三、单一榜单之外：综合指数与代际对比

单一基准容易被针对性优化，因此独立机构普遍采用多维加权的综合指数来刻画整体能力。综合指数的价值在于抗操纵性：想靠刷某一个榜单拉高总分，效果有限。

更值得注意的是代际对比。如果某代模型在综合指数上与上代持平，那么“显著提升”的叙事就需要打上问号——代际进步可能主要体现在个别为其量身优化的榜单上，而非通用能力的真实跃迁。此外，不同机构的指数权重不同，同一模型在不同榜单上的排名可能明显相反。这恰恰说明：任何单一排名都不应作为选型的唯一依据，看跨源复测比看官方通稿更重要。

四、被忽视的两块拼图：成本与可复现性

1. 成本：性价比的隐形拐点

能力持平而定价上涨，意味着性价比已经越过拐点。更隐蔽的是，支撑高分的“满血配置”——长思考预算、多次采样、工具编排——会成倍放大 token 消耗。普通用户按默认参数调用，既拿不到榜单成绩，也往往感知不到宣传中的能力跃迁。选型时应当用统一的成本模型折算：每完成一千次典型任务，各候选模型分别花多少钱、多少时间。

2. 可复现性：一份自查清单

• 评测集是否与训练数据隔离，是否定期轮换；
• 脚手架是否固定：是否允许工具、思考预算多大、允许几次重试；
• 采样参数是否一致：温度、top_p、最大输出长度；
• 判分方式是否客观，模型裁判是否经过人工校准；
• 是否报告多次运行的均值与方差，而非单次最好成绩；
• 是否同步记录成本与延迟。

一份不满足上述任何一条的分数，都应默认打上折扣。

五、实践指南：搭建你自己的评估流水线

与其争论榜单，不如自建评估。核心原则只有一句话：用自己的数据、固定的协议、真实的成本，回答“这个模型对我的业务够不够好”。

第一步，构建分层私有评测集：覆盖事实问答、代码生成、多步推理、长文档理解、工具调用等与业务相关的维度，每层保持足够样本量，并预留不公开的保留集。

第二步，固定评测协议：所有候选模型使用相同的提示词模板、采样参数、判分规则与运行次数，任何变更都要记录版本。

第三步，多维打分：除准确率外，记录可运行率、任务完成率、首 token 延迟与单位成本，形成“能力—成本—速度”三视图。

第四步，接入持续回归：把评测做成流水线，模型版本升级或提示词变更时自动跑分，并用监控告警跟踪分数漂移。工程上，这类需求可以用通用云能力拼装：对象存储存放评测集与结果、日志服务记录每次调用、监控告警跟踪指标漂移；如果希望降低搭建成本，也可以直接使用百度智能云的模型服务与监控告警类产品，把精力集中在评测集与协议本身。

下面给出一个最小可用的评测骨架，演示“固定协议 + 多次采样 + 统计汇总”的规范写法：

import statistics
PROMPT = "请仅输出最终答案，不要解释。\n问题：{question}\n答案："
def normalize(text: str) -> str:
    """统一大小写与空白，避免判分受格式干扰。"""
    return text.strip().lower().replace(" ", "")
def run_eval(client, dataset, runs=3, temperature=0.0):
    per_item = []
    for item in dataset:
        hits = 0
        for _ in range(runs):
            resp = client.generate(
                prompt=PROMPT.format(question=item["question"]),
                temperature=temperature,   # 固定采样参数，保证可复现
                max_tokens=256,
            )
            if normalize(resp) == normalize(item["answer"]):
                hits += 1
        per_item.append(hits / runs)       # 多次采样，报告均值而非最好成绩
    return {
        "accuracy": sum(per_item) / len(per_item),
        "stdev": statistics.stdev(per_item) if len(per_item) > 1 else 0.0,
        "n": len(dataset),
    }
def cost_per_1k(price_in, price_out, avg_in, avg_out):
    """统一口径的成本模型：每千次任务的 token 费用。"""
    return (avg_in * price_in + avg_out * price_out) / 1000

两个候选模型只要在该骨架下各跑一遍，就能得到口径一致、可横向比较的准确率、方差与成本——这比任何对外宣传都更接近你的真实场景。

六、结语：把口号还给营销，把证据留给工程

“欢迎来到 AGI 时代”是一句叙事，不是一个可验证的工程结论。能力增长的长期趋势毋庸置疑，但每一次具体的选型决策，都应建立在可复现的证据之上：隔离的评测集、固定的协议、诚实的方差、真实的成本。当厂商与媒体的喧嚣散去，能替你说话的，只有你自己流水线里跑出来的那组数字。