评测榜单不断升级：变化的究竟是模型能力，还是量尺？

2026 年 10 月 23 日，Artificial Analysis 给 Kimi K3.1 Pro 的 Intelligence Index 记为 55 分。Artificial Analysis 是第三方模型评测机构，Intelligence Index 是其汇总多项任务表现的综合分数。公开榜单并非天然稳定的能力时间序列；被测模型、任务分布、执行条件或评分标尺变了，分数就属于一次新的测量。把这些总分直接写进采购门槛和长期 KPI 时，模型变化与量尺变化会在同一条曲线上混在一起。直白地说，一个没有版本和运行条件的榜单分数，无法充当模型能力的历史记录。

同一模型从 57 分变成 44 分，先暴露了刻度断点

Kimi K3 的两次公开记录把问题压缩成了一个清楚的案例。

这里的“刻度断点”是指换版前后的分数不能直接接成一条时间序列。Artificial Analysis 在 7 月 17 日的发布文章中写下 57 分；其当前模型页则按 Intelligence Index v4.3.2 显示 44 分。Intelligence Index v4.3.2 是该综合指数的 4.3.2 版规则。模型名称没有变化，页面上的总分却相差 13 分。这个差值不能直接解释为模型退步，也不能全部归因于规则调整，因为服务端版本、运行状态和复测细节未被完整隔离。它能确定证明的是：57 与 44 不在一条无需校准的连续刻度上。

这段时间里，Artificial Analysis 确实连续改造了量尺，而且改动触及了综合分的多个组成部分。

这些调整有充分理由。旧任务会饱和，依赖环境会失效，模型在真实工作中也要处理文件、调用工具，并完成长程执行任务。可问题同样明确：新版提高了当前测量的相关性，却会切断旧版与新版总分的直接可比性。

因此，K3.1 Pro 的 55 分与当前 K3 的 44 分，可以支撑同一版规则下的横向差距。7 月的 57 分则只能留在当时版本的记录里。发布方若不提供同一端点在新旧量尺上的桥接复测，跨版曲线无法独立拆出“模型进步了多少”。

保持榜名不变，也可能让旧分数失去含义

SWE-bench 的演进说明，量尺断点并不只发生在显式换版时。

原始 SWE-bench 于 2023 年从 12 个开源 Python 仓库抽取真实 Issue 与对应修复，用隐藏测试判断模型补丁是否成功。2024 年推出的 SWE-bench Verified（下文简称 Verified） 又由工程师复核 1,699 道题，留下 500 道，目的是修正原题中无法完成、描述不足和环境不稳定的问题。

到 2026 年 2 月，OpenAI 停止用 Verified 衡量前沿编码能力。该公司审计了 138 道模型经常失败的题，占完整题集 27.6%。其中至少 59.4% 存在实质问题。它们会拒绝正确解法，或要求题面未说明的功能。OpenAI 还发现，受测前沿模型都能在部分题上复现人工金标准补丁或题面细节，说明公开仓库与公开修复已进入训练暴露面。人工金标准补丁是人工确定、供评测对照的参考修复答案。固定题集仍叫同一个名字，但高分可能同时包含真实编程能力、题目记忆和对狭窄测试的适配。

替代方案也没有自动解决问题。SWE-Bench Pro 用更长、更真实的功能开发任务替换 Verified。此后，731 道公开题上的前沿模型通过率在八个月内从 23.3% 升到 80.3%。OpenAI 随后估计其中约 30% 是坏题，口径综合了自动流程与五名工程师的人审。两次审计均来自 OpenAI，不能代表所有机构对题目质量的共同裁决；但它们足以证明，榜名和计分公式保持不变，并不保证分数含义保持不变。

这里存在一个无法消除的张力。题集不更新，污染、坏题和饱和会侵蚀信号；题集更新，历史刻度又会断裂。可行做法是把“当前最相关的测试”与“可回放的历史对照”分开保存，而非冻结一份公开题集。

三类榜单都有效，但回答的是三种问题

Artificial Analysis、SWE-bench 与 Arena 的同期比较表明，不能用同一种方式读取所有名次。

Arena 是由用户匿名比较两份模型回答的动态偏好榜。三者的统计方法不同，却共同要求使用者先确认测量对象与条件。

Arena 尤其能说明“动态”不等于“无效”。它让用户盲选两份回答，只把模型匿名时的投票计入公开排名，再用 Bradley-Terry 模型估计相对偏好。其论文分析了 24 万张选票，并报告众包投票与专家判断具有较好一致性。这些证据支持 Arena 作为当前偏好信号，动态更新并未让它失效。

但 Arena 每轮都会重新抽样模型，票数持续累积，预发布模型还能先以代号进入测试。只有通过厂商发布条件和平台政策的版本，成绩才会以正式名称加入公开榜。于是，Arena 分数描述的是特定投票样本、模型池和配对机制下的相对位置。它适合回答“现在更受偏好的是谁”，却不能天然回答“同一模型半年内增加了多少绝对能力”。

三种榜单由此形成互补。复合指数覆盖面广，静态任务集便于复现，动态偏好榜贴近真实使用。它们都能为候选池提供高价值信号；只要离开各自的比较边界，总分就会把任务、环境和评分者的变化伪装成模型变化。

观察点：新版榜单能否保留一条旧刻度

榜单升级本身也限定了这个判断。

Artificial Analysis 连续加入更接近知识工作的任务，SWE-bench 清理失效题，Arena 用真实用户偏好补足自动指标。若因此得出“榜单都不可信”，就会丢掉这些评测对当前横截面的真实信息。中心判断只在跨时间解释处成立：同一版本、同一端点、同一配置下的横向比较，仍然可以支持候选筛选和实验排序。

将公开榜单接进选型流程时，每条成绩都需要一份最小“比较合同”。合同包括模型端点与日期、推理档位、工具和预算、任务集或抽样窗口、评分规则，以及分项结果。成本、时延和失败轨迹应与总分一起存档。公开榜用于缩小候选范围，固定快照的内部任务则检验授信材料抽取、投研检索、代码变更或客服流程是否真的改善。

下一次榜单升级时，冠军是否换人只提供表面信息。更有价值的是，发布方能否让一组未变的模型端点同时跑过新旧版本。这样的桥接样本可以估计量尺变化；若只有新版总分，历史曲线就应在版本处断开。对动态偏好榜，还要固定观察窗口与模型池。对公开静态题集，则要同步更新私有保留集、污染检查和坏题审计。私有保留集是不公开、专门留作复测的题集。

只有这些条件同时保留下来，分数才可能继续承担能力时间序列的角色。否则，榜单仍然能描述今天，却不能独自解释昨天到今天究竟发生了什么。