智能指数v5更新：评测转向与选型方法

一、新版指数的核心变化：权重迁移与测试集治理

新版智能指数最值得关注的变化，不是榜单名次本身，而是评测权重的迁移：将约60%的权重放到私有或保留答案测试集上。这个方向具有明确的技术合理性。公开基准长期暴露在互联网与训练语料中，题目、答案、解题套路甚至评测脚本都可能被模型间接或直接“见过”。一旦公开题被反复训练，分数衡量的就不再是模型在新任务上的泛化能力，而是它对公开题分布的熟练度。此时排行榜仍然会有变化，但这种变化越来越像“刷题成绩”，而不是真实能力。

权重迁移的实质，是评测方承认公开基准已经出现污染与饱和。公开题并非没有价值：它们成本低、可复现、便于横向沟通，适合做基础能力筛查和回归测试。但公开题不适合单独承担“能力总评”的角色。把大部分权重转向私有或保留答案测试集，相当于提高评测的防泄漏门槛，让模型必须在未见过或不易过拟合的题目上表现。这样得到的分数，与真实任务表现的相关性通常更高。

从结果看，这一改动是有效的：在旧版标度下，开源模型与闭源模型头部差距约为3分，而在新版标度下扩大到约12分；示例分数中，一个开源候选约为46分，闭源头部候选约为58分。这里的关键不是具体数字本身，而是比较关系发生了变化。此前“部分模型只差头部3分”的说法，在新标度下很难继续成立。因为旧标度中的3分，可能包含了公开题红利、题目泄漏和过拟合带来的虚高；新标度把这部分水分挤掉后，真实差距被重新显影。

二、公开题红利到期：模型没变差，测法变了

公开题红利到期，是理解榜单变化的核心线索。部分模型此前分数普遍偏高，主要原因不一定是模型能力突然下降，而是它们在过去一段时间内更充分地从公开题、公开榜单和公开评测反馈中获益。公开题红利有保质期：当评测方开始使用私有测试集、保留答案和动态题目时，针对公开题的熟练度优势会迅速失效。

一个典型案例是：某开源模型曾在公开基准上取得很高分数，并借此获得“开源第一”或“国产第一”的叙事；但新版标度上线后，排名随即下滑。这个结果并不意外。该模型在部分公开基准上的异常高分此前已有争议，私有测试集一上，针对公开题的熟练度优势就不再成立。对模型团队而言，尽早看到公开题优势的保质期如此之短，比继续维持“第一”的叙事更有价值。因为叙事可以短期提升关注度，但无法替代真实泛化能力；越早暴露差距，越早能把资源投入到数据治理、训练目标、评测闭环和真实任务适配上。

更一般地说，公开榜高分至少有两种来源：一种是能力提升，另一种是评测分布适配。前者可迁移，后者不可迁移。团队在使用榜单时，应把公开基准视为“诊断工具”而非“能力结论”。公开基准适合发现短板、做版本回归、验证基础能力；但不应直接作为采购决策、技术路线选择或对外能力承诺的唯一依据。

三、评测体系自身的工程风险：标度断裂与版本抖动

新版指数的方向正确，但评测体系本身仍存在明显的工程风险。首先是版本抖动：在短时间内连续发布多个小版本，分数会出现较大波动，例如同一组候选的分数从61对66，变为55对57，再到并列53。排名波动过大，会削弱榜单作为决策依据的稳定性。评测体系不是不能迭代，但迭代需要版本冻结、变更说明和可比性标注。

更关键的是标度断裂。换标度如果没有明确标注，旧分数和新分数就不能直接比较。长期趋势追踪指标试图解决纵向比较问题，这是有价值的补充；但如果标度发生断裂，纵向比较的可信度会打折扣。一个负责任的评测体系，至少应提供：版本变更日志、标度是否可比的明确说明、重叠样本或锚定题、置信区间，以及新旧分数的校准方法。否则，用户看到的只是一个“当期排名”，而不是可累积的能力趋势。

因此，新版指数更适合当作一张当期横截面快照使用：在同一次新版标度下比较模型的相对位置，再结合成本、输出效率和任务适配性判断。它不适合被当作跨版本、跨标度的绝对能力刻度。对于企业选型而言，横截面快照加内部评测，比追逐每一个小版本排名更可靠。

四、成本效率与任务适配：总分之外必须展开的维度

榜单总分容易把多个维度折叠成一个数字，但选型时恰恰需要把这些维度重新展开。一个典型问题是输出成本：榜首模型可能确实登顶，但其最大努力模式每任务输出约119k词元，而另一候选约为27k词元。两者成本效率不是同一回事。总分相同或接近时，输出词元数、推理延迟、单位任务成本、失败重试率都会显著影响实际落地成本。

可以用一个简化的伪代码说明选型时应该如何展开：

suite = build_suite(public_ratio=0.4, private_ratio=0.6)
score = 0.4 * public_score + 0.6 * private_score
cost_per_task = output_tokens * output_unit_price
              + input_tokens * input_unit_price
efficiency = score / cost_per_task
report = {
  quality: score,
  cost_per_task: cost_per_task,
  p95_latency: latency_p95,
  failure_rate: failure_rate,
  task_fit: task_fit_score
}

这段伪代码的重点不是具体公式，而是提醒：质量分只是其中一个维度。实际选型至少应建立三张表：第一张是质量表，包含公开基准、私有保留集和业务内部评测；第二张是成本表，包含输入输出词元成本、单任务成本和峰值并发成本；第三张是稳定性表，包含P95延迟、失败率、重试率和输出可控性。只有三张表放在一起，才能判断某个模型是否适合具体任务。

五、从榜单到内部评测：可落地的选型建议

第一，建立内部保留答案测试集。企业应把真实业务任务按场景抽样，保留一部分不进入提示词调优和模型选择的“盲测集”。盲测集需要定期轮换，防止供应商或内部团队针对固定题目优化。第二，采用多维度报告而非单一分数。准确率、结构化输出成功率、工具调用成功率、长上下文稳定性、单位任务成本、P95延迟和失败恢复能力都应纳入报告。第三，做小流量灰度与回归测试。榜单只能提供候选集，最终决策应来自灰度流量中的业务指标。

第四，明确版本冻结与复评机制。评测体系更新、模型版本更新、提示词更新都应记录变更，避免把标度变化误判为能力变化。第五，对公开基准保持“可用但不可尽信”的态度。公开基准适合做基础筛查和回归，私有保留集适合做能力验证，内部业务集适合做最终选型。三者结合，才能降低被单一榜单误导的风险。

六、结论

新版智能指数把大部分权重移向私有或保留答案测试集，是对公开基准污染问题的正面回应。它挤出了公开题红利，让开源与闭源头部的真实差距重新显影，也让“只差几分”的叙事更难成立。但评测体系仍受版本抖动、标度断裂和总分折叠的影响，不能把一次排名当作长期能力结论。更合理的用法是：把新版指数当作当期横截面快照，在同标度下比较相对位置，再结合成本效率、输出词元、延迟、稳定性和任务适配做二次判断。对模型团队而言，公开题红利的保质期越来越短；对企业用户而言，建立内部保留集和多维评测闭环，才是从榜单走向生产决策的关键。