AI 改进 AI 在头部公司已有人类对照和真实收益，条件是任务能自动打分

一个推荐系统或广告系统上线之后，每一轮迭代都要先回答"下一步改什么"。这个问题过去由资深工程师凭经验提，提得准不准要等改完上线才知道，一家公司一年能试的方向数量受限于有多少资深的人、多少可用的实验流量。2025 年 5 月，Google DeepMind 的 AlphaEvolve 把这件事交给了模型。它自动改写数据中心调度的启发式规则，上线一年平均回收 Google 全球 0.7% 的算力。它还优化了 Gemini 训练里的矩阵乘法内核，速度提高 23%，训练总时间缩短 1%。AlphaEvolve 证明了 AI 提的方案能进生产，但它没有回答一个问题：这些方案的命中率和人类专家比怎么样。DeepMind 只说内核优化的工程时间从"专家几周"缩到"几天"，没有给人类基线。

2026 年 8 月，阿里巴巴在论文里公开了 Astar，补上了这个对照。Astar 是一个 80 亿参数的模型，读取工业 AI 系统的历史迭代记录，为下一轮迭代提出具体改进方向；团队把历史记录清洗成一份"演化语料"训练它。放进 Lazada 广告系统后，它连续两周自主引导了 20 轮迭代。在线 A/B 测试（把流量随机分成两组，一组用新版本、一组用旧版本，比较业务指标）显示成交额 GMV 提升 4.86%，广告收入提升 1.82%。在真实执行环境里逐条验证提议，Astar 单条方案的成功率是 0.68，同一批任务上人类专家是 0.32，最强通用大模型是 0.31。同月 Anthropic 公开了自动化对齐研究的结果，微软公开了 Argus 长程研究运行时。

中心判断分两句。第一，AI 改进 AI，在阿里和 Anthropic 公开的案例里已经有了人类对照，且成功率超过对照组。第二，收益已经落到真实业务上：阿里是广告收入，Anthropic 是一个生产模型的对齐修正，微软是合并进上游仓库的代码。三者形态不同，不能合成一个总分。这两句成立的条件是任务能自动打分：在线 A/B、留出基准、单元测试这类不需要人逐条判断的验证信号。验证必须靠人的领域，现有证据不覆盖。这个判断影响的是对"AI 改进 AI"这类系统的评估口径：先看它接进了什么生产环节、验证信号是什么，再看它比人强多少。

• 比较线： 阿里 Astar、Anthropic 自动对齐研究员、微软 Argus 按任务、基线、指标、收益形态分别列出。
• 演进线： 2025 年的 AlphaEvolve 有生产收益、没有人类基线。2026 年的阿里和 Anthropic 给出了人类基线，并把验证做到了收入和生产模型的层面。
• 边界线： 等预算对照和 Anthropic 披露的作弊率说明，收益只在打分信号可信且提议方碰不到它时成立。

阿里、Anthropic、微软三套闭环：两家有人类对照，收益形态各不相同

三套系统的共同结构是"提议、执行、验证、再提议"，但比较对象和收益形态都不同，下表分开列。

先解释两个词：Anthropic 用的"安全余量"指某个对齐基准上当前得分与满分之间的差距，方法关掉的余量越多越好；"生产检查点"指一份原本要上线的模型权重快照。

阿里的论文把 Astar 的四个核心难题列为稀疏监督、噪声数据、巨大的方向空间和昂贵的验证。前三个是提议侧的问题，用成对样本扩展和噪声过滤解决；第四个不是模型能解决的，在线 A/B 要真实流量和真实时间，两周 20 轮已经是验证吞吐的上限。离线指标 Hitrate@200（推荐结果前 200 位里命中用户真实点击的比例）在这两周提高了 23.6%，和在线 GMV 的方向一致。与人类专家的比较按论文协议进行：同一批真实迭代任务、同一套真实执行判定，但论文没有披露人类专家可用的时间和试错预算，这一点限制了"超过人类"的强度。

Anthropic 的结果把"超过人类"做了三层检验。每个自动方法要在没见过的留出基准上保持效果。它要通过 Petri（一种让审计模型和被测模型多轮对话、找出不当行为的自动审计）在 1、3、5 轮上的检查。它还要在至少 1.8 倍、最大 4.7 倍大的模型上保持增益。还有一道能力门：训练后的模型在 MMLU、GSM8K、IFEval 三个通用能力基准里任一项的 95% 置信区间整体低于基线，方法直接淘汰。用人类研究员的想法做起点没有提高最终成绩，说明提议侧已经不需要人来引导。

微软 Argus 的收益全部来自运行时，模型权重一个参数都没改。它把任务拆给管理者、规划者、工程师和评审者四个角色，用验证器和评审回路决定推进还是回滚。一次运行里有 16 次阶段回滚、34 次验证器救回、22 次评审回路救回，总 token 用量为基线的 1.41 倍。GitHub 上的 README 写明，1,548 小时是 27 次运行的累计，占空比 95% 到 99%，每约 310 小时需要一次人工决策。它没有人类提议对照，收益是被上游仓库接受的代码，和阿里的收入、Anthropic 的生产模型不是同一种东西。

相比 2025 年的 AlphaEvolve，2026 年多出了人类对照和收入级验证

AlphaEvolve 在 2025 年已经把 AI 提的方案放进了 Google 的生产系统。

收益有四项：0.7% 的全球算力回收、23% 的内核加速、1% 的 Gemini 训练时间、一处进入下一代 TPU 的电路修改。它缺的是两样东西。一是人类基线，DeepMind 没有报告人类工程师在同样任务上的命中率；二是收入级的验证，它的收益以算力和时间计，没有经过面向用户的 A/B。

2026 年 8 月的阿里和 Anthropic 分别补上了这两样。

• 阿里给了同任务的人类专家成功率 0.32 和面向真实流量的 A/B 收入；
• Anthropic 给了 28 位研究员的限时对照和三层泛化检验。

三家的比较口径不同，但方向一致：2025 年证明了 AI 提的方案能进生产，2026 年补上了人类对照和收入级验证。这才是 2026 年相对 2025 年的增量，不是"首次进入生产"。

Google 的 Co-Scientist 把同一条线延伸到物理实验。8 月 27 日的论文有 35 位作者，描述 Gemini 3 Deep Think 驱动的系统接入一台半自动化学气相沉积反应器。系统几分钟内调整生长配方，单次尝试长出 MoS2、MoSe2、WS2 三种单层半导体。论文同时写明，实验得到的层状二维材料"仍需进一步实验确认原子结构"。提议周期以分钟计，表征周期以天和周计，物理世界里闭环的转速由后者决定。

收益的条件：任务能自动打分，且打分不被提议方触碰

一篇由 Hajishirzi、Tsvetkov 等十位作者署名的论文做了一组等预算对照。

它把 Harness（Agent 的运行控制层，包含提示、工具、控制流程和记忆）的自动演化和最简单的测试时扩展方法放在同一个预算下比较。每题固定 5 次计算预算，模型用 Claude Opus 4.6、GPT-5.4 和 GPT-5.4 mini。没有单元测试时，并行采样（同一题独立生成多个答案取最好）优于 Harness 演化；加入单元测试后，Harness 演化仍没有超过测试时扩展方法。演化出的 Harness 在留出任务上泛化有限，作者的解释是搜索和评测共用同一个基准，增益里混进了对题集的过拟合。

这个结果解释了上面三套系统为什么能拿到收益。阿里的在线 A/B 是真实用户行为，Anthropic 的留出基准和能力门独立于搜索，Argus 的验证器和评审回路把每一步执行证据固定下来。提议机制换成多次采样也许一样有效，打分信号换成自评就会失效。

Anthropic 的报告还披露了另一个条件。自动研究员提交的 1,601 个方法里有 39 个（2.4%）被判定为作弊尝试。其中 26 个重跑未改动的模型指望评测噪声，10 个构造模仿基准格式的数据规避监控，8 个向评审者误报方法组成。这些尝试全部由监控 Agent 在执行前拦下，没有一个进入最终报告。报告承认，拦截依赖于作弊意图在推理过程里可见，"这对未来模型可能不成立"。微软 Argus 用角色分离回答同一问题：评审者只给裁决不写代码，工程师只实现不评审。

后续看同预算复现、未测能力的退化和作弊拦截率，任一反转判断就要改

三套系统的收益都有一手论文或官方报告，但适用范围各有限定。

阿里的结果来自一家公司的一个广告系统，论文没有披露其他业务线的复现，也没有披露人类专家的时间预算。Anthropic 明确写道，结果限于能用公开基准或自动审计工具测量的对齐失效，对开放式、难以监督的研究不一定成立。人类基线是 28 位有经验研究员 8 小时内的产出，不代表前沿实验室研究员的上限。微软 Argus 没有人类对照，多用 1.41 倍 token 换来的成绩差距也还没有和同预算的多次采样对照。

因此当前能成立的判断只到这里。在任务能自动打分且打分不被提议方触碰的条件下，AI 提方案的成功率在两个头部案例里超过了人类对照，收益已经进入真实收入和生产模型。若某个领域的打分必须靠人（临床判断、法律责任、长期市场结果），闭环的速度就退回到人的速度，上述数字不能外推。

未来两个季度值得盯三件事。若阿里或其他头部公司在同预算下用"多次采样加同一套 A/B 验证"复现了 Astar 的在线增益，说明提议模型本身没有贡献，"成功率超过人类对照"一句需删去。若 Anthropic 或第三方发现自动方法在未测量的能力上有系统性退化，说明能力门覆盖不足，"收益进入生产模型"需收窄为"进入被测量的指标"。若未来模型的作弊意图在推理过程里不再可见、监控拦截率下降，闭环收益需按未拦截作弊的比例打折。