如何理性评估大模型基准测试成绩与能力宣称

一、为什么对“突破性成绩”保持审慎

新模型发布时，团队通常会展示若干基准测试的分数。分数上升的幅度越大，传播速度越快，讨论也越容易从“这个数字意味着什么”滑向“这是否意味着能力质变”。

工程判断应当从数字本身出发。一个分数只说明模型在特定题集、特定设置下的表现。它能回答“在这套题上答对了多少”，却不能直接回答“能否替代某类工作”或“是否具备某种通用能力”。把两者混为一谈，是评估中最常见的错误。

二、基准测试成绩的局限

2.1 题集覆盖的范围

每套基准测试只覆盖有限的任务类型。一套以数学推理为主的题集，无法反映模型在长文档摘要、多轮客服或代码维护中的表现。分数提高，只能说明被覆盖的那一小块能力有所提升。

2.2 评测设置的差异

同一个模型，在不同设置下可能得出差异很大的分数。常见的影响因素包括：

• 提示词模板：是否包含示例，示例的数量和顺序。
• 工具调用：是否允许调用外部工具，工具的返回格式如何。
• 推理预算：允许的最大输出长度、思考步数或重试次数。
• 答案解析：自动判分规则是否宽松，是否接受等价表述。

对比两个模型时，如果设置不一致，分数差距就失去比较意义。

2.3 数据污染

如果题目或相近内容出现在训练数据中，模型可能是在记忆答案，而不是在推理。公开基准尤其容易受到这种影响。判断污染程度，可以考虑使用未公开的新题集，或者对同一题做改写后重测，观察分数是否显著下降。

2.4 指标定义

准确率、通过率、pass@k 等指标的含义不同。pass@k 表示 k 次采样中至少一次正确的概率，k 越大，分数往往越高。阅读成绩时，必须先确认指标定义，再讨论数值大小。

三、评估一项能力宣称的五个检查点

1. 来源与可复现性
优先查看公开的评测脚本、题集版本、运行日期和模型版本号。无法复现的分数，只能作为线索，不能作为决策依据。

2. 基线对比是否公平
比较对象应使用相同的题集、相同的设置和相同的判分规则。如果基线采用了较弱的配置，结论会偏向宣传方。

3. 样本量与置信区间
题目数量较少时，分数的随机波动可能很大。一个 200 题的测试，正确率 63% 的 95% 置信区间可能宽达十几个百分点。两个模型的区间若大幅重叠，就不能断定其中一个更强。

4. 任务与真实场景的映射
问自己：这个测试的输入、输出格式和失败代价，与我的业务有多接近？如果差距很大，基准分数只能作为参考，业务验证必不可少。

5. 失败案例与成本
关注模型在哪些类型的问题上出错，错误是否可接受，以及单次调用的延迟和费用。平均分高，不代表高风险场景中的失误率低。

四、用脚本计算结果的不确定性

下面的代码使用自助法（bootstrap）估算准确率的 95% 置信区间。输入为每道题的判分结果，1 表示答对，0 表示答错。

import random
def bootstrap_ci(results, n_iter=10000, alpha=0.05, seed=42):
    """
    results: 每题的判分结果列表，元素为 0 或 1
    返回：准确率、置信区间下限、置信区间上限
    """
    rng = random.Random(seed)
    n = len(results)
    means = []
    for _ in range(n_iter):
        sample = [results[rng.randrange(n)] for _ in range(n)]
        means.append(sum(sample) / n)
    means.sort()
    low = means[int(n_iter * alpha / 2)]
    high = means[int(n_iter * (1 - alpha / 2)) - 1]
    return sum(results) / n, low, high
# 示例：200 道题，答对 126 题
results = [1] * 126 + [0] * 74
acc, low, high = bootstrap_ci(results)
print(f"准确率 {acc:.1%}，95% 置信区间 [{low:.1%}, {high:.1%}]")

使用这段代码时，有两点需要注意。第一，比较两个模型时，应对两组结果分别计算区间，并结合配对检验判断差异是否显著。第二，区间只反映抽样误差，不能修正题集本身的偏差或数据污染带来的问题。

五、从“是否达到通用智能”转向“能否支撑业务”

“通用人工智能”是一个尚无统一定义的概念。讨论它是否已经到来，很难得出可验证的结论。对工程团队而言，更实际的问题是：模型在我们的任务上是否达标，成本是否可控，风险是否可管理。

建议按以下步骤推进业务验证：

1. 定义业务指标：例如工单一次解决率、文档抽取的字段准确率、代码修改的通过率。指标要能被自动化或半自动化地计算。
2. 构建本地评测集：从真实数据中抽取有代表性的样本，覆盖常见情况和边界情况，并保留一部分不对外公开，避免被调优过程“看到”。
3. 固定评测流程：记录模型版本、提示词、采样参数和判分规则，保证每次结果可复现。
4. 灰度上线与回归监控：新模型先在小流量中运行，与旧版本对比关键指标。上线后持续监控，发现质量退化及时回滚。
5. 设定失败兜底：对高风险输出增加人工复核或规则校验，明确哪些场景必须由人做最终决定。

六、小结

基准分数是有用的信号，但它只描述了特定条件下的表现。判断一项能力宣称是否可信，需要检查来源、对比公平性、样本量、任务映射和失败成本。把注意力从宏大的结论转向自身业务的可验证指标，团队才能用较低成本判断模型是否真正值得采用。