AA不同版本页面中，同名Kimi K3先后为57分和44分：跨版本总分为何不能直接比较

2026年7月17日，Artificial Analysis（下文简称AA）宣布Kimi K3在其智能指数中获得57分。智能指数是AA把多项模型评测按权重合成的总分。该成绩位列全球第三。当前v4.3.2模型页给同一个“Kimi K3（Max）”的分数是44。Max是AA标注的一种运行配置。两处相差13分，却不能据此说模型能力下降了13分。AA在这段时间同时换了题目、权重、执行方式和部分评分标尺，历史总分记录的是“模型在当时量尺下的结果”，不是一条口径固定的能力曲线。

这件事会改变模型选型时对公开总榜的用法。AA总分仍适合在同一版本、同一模型端点和同一执行配置下做横向筛选；如果版本或配置不同，两个数字即使名称相同，也不能直接相减。采购评分卡只有同时保存版本号、端点、推理档位和分项成绩，才能避免下一次榜单升级改写历史基线。

13分首先暴露量尺变化，不能直接解释模型退步

Kimi K3的两个分数来自AA自己的页面。

7月发布文章明确写着57分，当时使用Intelligence Index v4.1；当前模型页显示44分，并归入v4.3.2。当前页面还将该模型标为已被Kimi K3.1 Pro取代，但这只影响后续性能监测，不足以解释此前13分差值。

DeepSeek V4 Pro提供了一个带边界的同期对照。AA的v4.1发布文章列出DeepSeek V4 Pro（Max）44分，当前v4.3.2页面列出DeepSeek V4 Pro 0813（Max）36分。两个系列都向下移动，说明旧分与新分的落差并非只出现在Kimi页面；但DeepSeek的精确端点标签也变了，因此这8分更不能单独归因于指数版本。

同版结论则清楚得多。v4.1页面支持“当时的Kimi K3领先当时的DeepSeek V4 Pro”，v4.3.2页面也支持“Kimi K3（Max）高于DeepSeek V4 Pro 0813（Max）”。这两个横截面都不支持“Kimi能力下降13分”，也不能证明两者的能力差距发生了多少变化。

AA的版本记录解释了为什么。v4.1之后约三个月内，指数一共更新五次。具体版本见下表。每次更新都可能改变总分输入，而不要求模型本身发生任何变化。

综合分混合了四类变量，13分目前无法逐项归因

AA总分是十项评测按权重合成的结果。

模型回答质量只是其中一个输入，版本还决定考哪些题、每项占多少、Agent怎样运行，以及开放式答案怎样被判分。因此，57到44可能同时包含四部分：题库增删、权重重排、执行协议变化和评分标尺重定。

权重变化最容易看见。v4.1中GDPval-AA占20%，到v4.2降为10%；新增的AA-Briefcase占15%，GDP.pdf占10%。AA还把私有题或私有答案的权重从v4.1的20%提高到v4.2的40%，v4.3再提高到45%。这有助于减少厂商针对公开题目优化，却也让外部研究者更难用公开分项重建旧版和新版之间的映射。

执行变化同样会影响结果。v4.3把Terminal-Bench 2.1换成更难的4.0版本，改用66项任务和mini-swe-agent执行框架，并重新设定算力与时间额度。SciCode也把评分超时从60秒提高到300秒，避免慢但正确的代码被判失败。SciCode是一套科学编程评测。一个模型即使参数和权重完全不变，在这些条件下也可能得到不同成绩。

评分标尺则影响开放式任务。

• v4.3.1刷新了AA-Briefcase与GDPval-AA的三模型裁判组；
• v4.3.2又把GDPval-AA的Elo固定到DeepSeek V4.1 Flash（Max）为1600，并改用Crowd-BT拟合。

AA称GDPval-AA的排序大体保持，说明重标定未必推翻同版名次。不过，排序大致稳定不等于旧总分与新总分处在同一刻度，更不能据此把13分全归因于某一次改版。

同版横向结果仍有用，但版本号还不够

当前v4.3.2下，Kimi K3为44分，DeepSeek V4 Pro为36分。

这组数字使用同一套十项评测和公开权重，能支持当前横向比较。AA自己的API文档也要求每条分数携带智能指数版本，并明确说明：小版本和补丁可以改变题目、评分器、归一化、权重、锚点或评测刷新，分数可能随之变化。

版本一致只是最低条件。AA当前方法页写明，GDPval-AA v2.1与AA-Briefcase v1.1的Elo贡献会在模型加入时冻结；前者的裁判结果再按固定区间归一化。不同时间加入的模型，可能经历不同裁判组、模型端点或推理设置。页面上的“Max”“Default Fallback”等后缀也代表不同运行配置，不能省略后只按模型家族名比较。

因此，一张可复核的模型评分卡至少要锁定四项：指数完整版本、精确端点、推理与fallback设置、各分项原始成绩。fallback设置指首选方案不可用时采用的备用运行方案。总分可用于建立候选名单，业务验收则应另测成本、时延、结果可复算性和来源追溯。国金证券的金融投研实测采用估值建模、多因子回测和行业研究任务，还检查交易成本、信号日与执行日、停牌处理及底稿完整性。这些条件不会从AA的通用综合分中自动推出，却直接决定模型能否进入真实投研流程。

观察点：公开固定尺度的历史回测能否补上

至少在已核验的两个例子中，AA会把旧模型放到新方法下重新展示。

当前v4.3.2页面为Kimi K3和DeepSeek V4 Pro保留了新版成绩。这使两者可以在当前版本内横向比较，也比直接拼接厂商各自公布的分数更可用。至于其他已发布结果是否都已切换到最新方法，现有材料没有逐项核实。

缺口在历史序列。AA公开方法页说明了每次改版做了什么，但没有提供Kimi K3从57到44的逐项贡献分解，也没有公开一条同时固定题库、权重、端点、推理配置和裁判组的跨期序列。当前证据只能确认量尺变化足以破坏直接相减，不能确认13分中每一分分别来自哪项规则。

后续若出现两类数据，结论可以进一步收窄。第一类是同一模型、同一端点在各版题库上的完整分项与运行配置，可把题目效应、权重效应和执行效应分开。第二类是AA用一套固定版本回测历代模型，并保留原始结果和置信区间；届时跨代能力趋势可以在统一尺度上重建。在这之前，57分属于v4.1的历史快照，44分属于v4.3.2的当前横截面，二者各自有效，但相减没有清晰的能力含义。