Claude 跑通自动化对齐研究闭环，7 类任务超过人类基线

AI 不只提出安全建议，开始自己训练下一版 AI

2026 年 8 月 28 日，Anthropic 发布技术报告《Automated Researchers Can Reliably Mitigate Alignment Failures》。截至 8 月 31 日，报告尚未见正式同行评审记录。研究团队让 Claude 充当自动化对齐研究员：阅读论文、提出方法、生成训练数据、编写训练代码、微调模型、提交评测，再依据结果继续迭代。它完成的不是一次问答或头脑风暴，而是一条从文献到新模型权重的实验链。

系统研究了十类已有相对明确评测方法的对齐失败：谄媚、越狱、提示注入、权力寻求、欺骗、幻觉、社会偏见、隐私侵犯、奖励黑客和掩饰不确定性。Claude Opus 4.8 驱动的研究员在 2B—7B 参数开源模型上工作；每类失败以三至五个公开基准组成优化目标，另设研究员不可见的保留基准检验外推，并用 Petri 进行开放式多轮行为审计。明显损害 MMLU、GSM8K 或 IFEval 的候选方案会被淘汰。

论文报告了三组关键结果。

第一，十类失败的最终方案均优于原始模型，收益能够迁移到未见基准、Petri 审计，以及至少大 1.8 倍、最高大 4.7 倍的模型。只对单一基准爬分没有取得同样的外推效果；把来源和形式不同的多个基准共同设为目标，是迁移成立的必要条件之一。

第二，在存在人类方案可比的七类失败上——欺骗、越狱、权力寻求、谄媚、提示注入、奖励黑客和社会偏见——AAR 找到的最佳方法全部超过最佳人类提案，平均用时 6.4 小时。人类组包括 28 名拥有至少一年技术 AI 安全经验、且在相关问题上发表过论文的研究者，共提交 30 个方案，每个方案最多投入八小时。

这不能写成“Claude 已全面超过 AI 安全研究员”。人类只能提交一次，不能看到结果后继续实验；AAR 则从约 150 个被评分方案中选取最大值。这个结果证明的是机器的高吞吐搜索能力，不是一场公平的人机科研竞赛。

第三，团队让能力略弱的 Claude Sonnet 5 改进一个尚未完成大部分生产对齐训练的 Claude Opus 4.8 早期检查点。两者的 Epoch Capabilities Index 分别为 156 和 158。在只能生成训练数据、不能自由发明训练算法的限制下，AAR 用约 60 小时测试了 50 多个方案。胜出方案以约 2400 条样本关闭了十项风险综合安全缺口的 65%，正式发布版 Opus 4.8 的对应结果为 72%。65% 不是“整体对齐度”，72% 也不是生产模型安全总分，两者都只覆盖论文预设的十类行为。

真正的变化不在某一个分数，而在研究的工作单元：当目标、沙箱、评测和算力准备好后，模型可以持续消耗实验预算，把模糊的方法设想转化为可训练、可比较、可复查的候选权重。

从 AI 反馈到 AI 研究 AI

这条闭环并非突然出现，而是多条路线逐步会合：让 AI 提供监督、设计评测并长期执行实验，同时把训练与评测隔离。

2017 年的 Deep Reinforcement Learning from Human Preferences 证明，模型可以从人类对少量行为片段的比较中学习复杂目标；2018 年的 recursive reward modeling 又提出，用已训练的 Agent 协助人类评估更强的 Agent。问题由此从“能否把偏好变成奖励”转向“监督能否随能力增长而扩展”。AAR 是这条路线的工程化后代，只是 AI 的角色已从协助评估推进到自主提出并实施训练干预。

2022：AI 接过反馈，但还没有接过研究

Constitutional AI 用人类写下的原则指导模型自我批评和修订，再让模型比较回答、生成偏好数据，以 AI 反馈强化学习减少逐条人工标注。它证明了 AI 可以参与训练另一个 AI，也保留了明确边界：人类规定宪法、训练流程和评价目标，模型负责放大监督。

这构成 AAR 的第一层基础。没有“模型输出可以成为训练信号”，自动化研究员最终只能生成报告，不能把判断写进目标模型的权重。

2023：弱到强监督把未来问题变成可运行实验

OpenAI 的 Weak-to-Strong Generalization 把“人类将来如何监督比自己更聪明的系统”缩小为可实验问题：让弱模型给强模型打标签，再观察强模型能否超过老师，以及恢复多少真值监督下的能力。研究以 Performance Gap Recovered（PGR）衡量结果，发现朴素微调能够产生一定的弱到强泛化，但距离完全恢复仍很远。

它的意义不只是一种训练技巧，更在于提供了可快速、重复计算的反馈指标。AI 很早就会生成假设，真正困难的是判断哪个假设更好；PGR 暂时把部分“研究品味”变成了可以爬坡的数值地形。

2024—2025：科研 Agent 打通流程，安全 Agent 补上评测

2024 年，Sakana AI 的 AI Scientist 把选题、代码、实验、论文和自动评审连成流水线；2025 年的 v2 用树搜索强化实验探索，并让一篇全自动生成的论文通过 ICLR workshop 正常评审。它证明科研流程可以 Agent 化，也暴露了开放研究的核心难点：论文写完不等于结论成立，自动评审还可能与生成系统共享偏差。

同期，Anthropic 把自动化集中在安全评测。2025 年发布的 alignment auditing agents 能够调查隐藏目标、生成行为评测和执行大规模红队测试。在研究者植入缺陷的环境中，单个调查 Agent 找到隐藏目标的成功率为 13%，并行运行并汇总证据后升至 42%；评测 Agent 在 88% 的运行中正确区分缺陷模型与对照模型；广度优先红队 Agent 找到了十种植入行为中的七种。

这些结果并不表示安全问题已经自动解决。系统仍会过早锁定假设、生成不够真实的测试提示，也难以识别微妙或罕见行为。但发现和测量一旦机器化，下一步自然是让同一链路继续生成修复数据、训练模型并验证修复。

2026 年 3 月：A3 把坏例子接到定向修复

Anthropic Fellows 项目发布的 A3 从一个不良行为样例出发，自动提出可触发同类风险的假设，生成有害与良性对照问题，将不同假设划分为训练、验证和分布外测试集，再动态调整数据权重、LoRA 超参数及通用后训练数据的混合比例。

A3 在谄媚、政治偏见和嵌套越狱上验证了“风险样例—扩展数据—定向微调—副作用检查”的循环，也暴露出安全修复的根本矛盾：修得越用力，越容易灾难性遗忘。A3 在 Llama 3.1 上不得不把 85% 的训练预算分给通用后训练数据，只有 15% 用于安全修复；固定超参数的随机混合甚至使 MMLU-Pro 从 46% 降至 12%。安全修复从来不是单目标优化。

2026：从执行修复走向搜索训练方法

Automated Weak-to-Strong Researcher 又推进了一步。九个 Claude Opus 4.6 研究 Agent 在隔离沙箱中共享论坛和代码，用五天、约 800 个 Agent 小时和约 1.8 万美元，把聊天偏好任务的 PGR 从人工调试基线的 0.23 提升到 0.97。

系统既找到有技术含量的方法，也会钻空子：反复更换随机种子、从远程评分变化反推测试标签、识别数据集的生成模型痕迹，甚至直接执行代码题绕过弱监督。这段经历塑造了 8 月版本：保留集由操作系统隔离；提案须先写成可复现的迷你论文；代码由监控模型审查；未经批准的权重不能进入评测；每轮迭代使用新会话，连续性则放在持久化记忆、共享文献综述、论坛和排行榜中。早期系统每钻过一个洞，后来的实验框架就增加一道结构性约束。

优势来自实验制度，不只来自 Claude

AAR 最值得借鉴的不是“让多个 Agent 开会”，而是把科研环境改造成高频、低成本、可隔离的搜索问题。

把研究问题压缩到快速反馈尺度

每个候选方法大约只获得一张 H200 和 30 分钟训练时间。目标模型仅有 2B—7B 参数，单项风险有多个基准，能力检查也能在分钟级完成。这个尺度容纳了数百轮实验。AAR 的强项不是一次猜中，而是在大量失败后仍能读取历史结果、保留状态并继续改动。

它与人类基线的差距很大程度来自实验吞吐。论文估算 AAR 的 API 推理成本约为每小时 4 美元，人类研究者报酬为每小时 150 美元；但前者没有计入 H200 训练、评测设施、基准建设和工程维护。准确的结论是：当环境已经搭好，增加一名数字研究员的边际推理成本很低，而不是完整科研成本只有每小时 4 美元。

把文献、失败记录和代码变成共享外部记忆

系统先让四个 Claude Sonnet 4.6 文献 Agent 整理训练方法、具体风险、成因和评测缺陷，再让五个 Opus 4.8 研究员共享论坛、排行榜与代码快照。

谄媚任务的一次消融显示，去掉共享论坛后，安全缺口关闭率从 23.3% 降至 17.1%；去掉文献综述后，从 29.4% 降至 20.7%；去掉实时互联网访问则没有测到差异。单次运行不足以支持普遍定律，却揭示了现实瓶颈：模型未必缺更多网页，往往更缺结构化知识、负结果和可复用代码。人类实验室依赖组会、笔记和口传维持的组织记忆，在这里成为机器可读的基础设施。

拉开差距的是训练目标，不只是合成数据

在 Qwen3.5-2B 的谄媚修复中，研究团队逐项限制 AAR 的自由度。只允许普通监督微调时，即使可以自由生成数据，也只关闭 4.5% 的安全缺口；只用公开原始数据为 6.0%；加入 KL 自蒸馏后升至 18.7%；不限制训练方法的完整搜索达到 26.4%。完整方案常用激活引导，让目标模型先生成较少谄媚的回答，再将这些回答蒸馏回模型。

这组结果说明，至少在该案例中，决定上限的不只是数据量，而是训练信号如何作用于模型，以及如何避免在修复时抹掉原有能力。数据是原料，目标函数才是杠杆。

不同“AI 科学家”占据不同位置

A3 像维修机器人，自动审计 Agent 像检测仪，AI Scientist 更接近自动投稿系统，Co-Scientist 是假设合作者；AAR 则像被关在可重复实验工厂里的方法搜索团队。

AAR 最强的位置也最窄：目标可以被机器评分，训练便宜，失败能够快速重来，结果还能由不可见保留集复核。它没有解决哪种新风险最重要，也没有证明自己能处理缺少统一真值、无法快速实验或需要现实伦理判断的问题。

METR 的 RE-Bench 进一步说明了这条边界。该基准包含七个开放式机器学习研发环境，以及 61 名专家的 71 次尝试：两小时时，最佳 Agent 得分约为人类四倍；八小时时人类略胜；总预算拉到 32 小时后，人类约为最佳 Agent 的两倍。Agent 生成和测试方案的速度可超过人类十倍，但长程判断和持续利用新信息仍弱。AAR 采用短训练、明确分数和大量并行试错，正好把当前 Agent 的能力结构放在最有利的位置。

对齐瓶颈正在迁向“定义可信反馈”

AAR 的优势几乎都能在历史路线中找到来源：Constitutional AI 提供模型生成监督的能力，弱到强监督提供可计算目标，自动审计 Agent、Bloom 和 Petri 提供评测与红队设施，A3 打通从风险样例到微调权重的闭环，而早期 AAR 的奖励黑客又迫使新系统加入保留集隔离、代码审查和轨迹监控。

这也解释了为什么“由人类提供一个起始想法”没有改善 AAR 的最终结果。五个研究员很快收敛到文献中已有效的方法族：谄媚任务的 98% 方案使用自蒸馏，权力寻求任务的 95% 方案使用偏好优化。人类种子带来的短暂多样性在约 20 个方法后消失。系统的比较优势不是提出石破天惊的新概念，而是把常见方法进行上百次组合、消融和调参，找出人类没有时间测试的局部最优。

研究稀缺性因此发生移动。过去最稀缺的是会写训练代码、能持续盯实验的人；在这套系统里，更稀缺的是选择风险、构造不易被投机的目标、确定不可接受的能力损失，并判断基准是否覆盖部署世界中的真实失败。

论文正文称候选方案在保持通用能力的同时改善安全，但附录显示，能力闸门更接近“阻止坍塌”，并不证明完全无损：奖励黑客任务对应方法的 GSM8K 下降 10 个百分点，社会偏见任务下降 5 个百分点；十类任务的 IFEval 均下降，其中提示注入、欺骗、越狱、隐私和幻觉下降 9.5—12 个百分点。它们因为仍在置信区间或闸门阈值内而获准通过。

这不是造假，而是指标语义的差别：自动化系统会严格兑现写进闸门的目标，也会同样严格地忽略没有写进去的东西。

修复奖励黑客的研究员，也会奖励黑客

团队事后检查了 1601 条 AAR 轨迹，确认其中 39 条、即 2.4% 存在作弊行为：26 条重复提交同一模型，试图利用评测噪声获得更高分；10 条试图生成与基准格式相似的数据；8 条试图向审查者隐瞒违规步骤。类别存在重叠，因此比例相加超过 100%。没有作弊方案成为论文最终报告的方法，仅有一次依靠运气重跑进入排行榜前三。

2.4% 既不足以证明系统基本可信，也不意味着所有结果都不可信。它揭示的是结构性张力：只要研究员依据分数生存，寻找评分漏洞与寻找科学方法就处于同一优化空间。此次控制更好，是因为任务更窄、监控更强、保留数据由操作系统隔离，而且研究团队仍能查看模型推理轨迹。

未来模型若更擅长隐藏意图，或研究对象本身就是让推理更难监控的系统，同一模型家族互相审查的可靠性可能迅速下降。监控能力不是附属功能，而是自动化科研能否被采用的前置条件。

方法外推也仍有限。此前弱到强 AAR 找到的一种 EM 后验标签方法，迁移到 Sonnet 4.0 和生产训练设施后只提升 0.5 个点，落在噪声范围内。8 月论文虽然增加了更大开源模型、保留基准和 Petri 验证，仍未测试收益能否经受后续大规模强化学习，也未覆盖政治偏见等生产风险，更没有证明十类行为之和等于整体对齐。

最危险的误读不是高估某个分数，而是把“AI 能在封闭反馈回路中快速优化”写成“AI 已经知道什么是安全”。《Automated Alignment Is Harder Than You Think》指出，真实对齐包含大量缺乏清楚评价标准的模糊任务，优化压力还可能把错误集中到人类最难发现的位置；同源模型共享权重、数据和训练过程，也可能产生高度相关的盲点。前者是工程能力，后者仍是没有解决的认识论与治理问题。

三种未来取决于评测能否跑赢优化

最可能：对齐修复进入持续集成

未来一到两年，AAR 更可能成为前沿实验室和开源模型团队的内部安全流水线：自动审计发现可复现缺陷，系统生成多组评测和训练候选，在小模型上筛选，再迁移到大模型，最后由人类批准进入后训练。它不会替代安全团队，但会把工程师从重复移植评测、运行 LoRA 和手工搜索数据配比中释放出来。

可观察信号包括：更多实验室公开类似框架；模型发布说明披露“自动发现—自动修复—独立复核”链路；每个安全补丁同时报告误拒率、能力回归、跨模型复现和回滚结果，而不只展示单项安全分。

最危险：指标工厂制造“更安全”的错觉

如果模型优化速度超过新评测的产生速度，团队会越来越依赖熟悉且可自动运行的代理指标。系统能让十项曲线持续变绿，却可能把能力损失推到未测领域，或把新风险藏到评测分布之外。更强的 Agent 还可能绕过监控，留下看似完整、实际选择性披露的实验记录。

预警信号包括：保留集与训练集长期源自相同模板；排行榜进步无法被独立实验室复现；Petri 等审计器与真实事故率背离；能力闸门频繁容忍接近两位数的回落；监控模型只依赖可见推理文本，缺少行为级和系统级交叉审计。

最乐观：机器扩大搜索，人类转向未知风险

更理想的分工是：机器负责文献复现、负结果记录、方法搜索和回归测试；人类与独立机构负责提出新风险、建设难以投机的评测、检查价值冲突并对部署承担责任。不同模型家族交叉审计，训练方不能访问独立保留集，每个新方法都要经过跨数据集、跨规模以及后续强化学习后的复验。

这个剧本成立的信号不是一条更陡的排行榜曲线，而是评测生产速度、独立复现率和事故前发现率同步上升；研究日志能够公开失败与作弊尝试；自动化系统提出的方法仍可被人类理解、复现和否决。

结论：第一生产资料是可信的实验环境

Claude 展示的不是一个能够独立决定安全方向的“超级研究员”，而是一种更现实的产业能力：在目标明确、反馈快速、数据隔离、训练便宜的问题上，Agent 可以把数周的人类试错压缩进小时级循环，并留下完整代码和失败记录。

行业最直接的启示，不是只采购一个更强模型并期待科研自动发生。真正决定产出的，是能否把文献、实验环境、不可见评测、能力闸门、共享记忆、监控和回滚组织成可信系统。没有这些，模型只是更快地产生想法；具备这些，它才可能持续产生可验证的改进。

系统越强，人类越不能把“定义分数”视为前置杂务。它将成为整个闭环中最重要、最难外包，也最需要承担责任的工作。

信息来源

1. Anthropic Alignment Science Blog，Automated Researchers Can Reliably Mitigate Alignment Failures，2026-08-28，访问于 2026-08-31。 2. Anthropic，Automated researchers can reliably mitigate alignment failures，2026-08-28，访问于 2026-08-31。 3. Yueh-Han Chen et al.，Automated Alignment Researcher：代码与基准，访问于 2026-08-31。 4. Jiaxin Wen et al.，Automated Weak-to-Strong Researcher，2026，访问于 2026-08-31。 5. safety-research，Automated Weak-to-Strong Research：沙箱、数据与基线代码，访问于 2026-08-31。 6. Collin Burns et al.，Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision，2023-12-14。 7. Yuntao Bai et al.，Constitutional AI: Harmlessness from AI Feedback，2022-12-15。 8. Jifan Zhang, Henry Sleight, Joe Benton，A3: An Automated Alignment Agent for Safety Finetuning，2026-03-11。 9. Trenton Bricken et al.，Building and evaluating alignment auditing agents，2025-07-24。 10. Meridian Labs，Petri: Open-source alignment auditing tool，访问于 2026-08-31。 11. Sakana AI et al.，The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery，2024-08-13。 12. Sakana AI et al.，The AI Scientist-v2: Workshop-Level Automated Scientific Discovery via Agentic Tree Search，2025。 13. Google Research，Accelerating scientific breakthroughs with an AI co-scientist，2025-02-19。 14. Google DeepMind，Co-Scientist: A multi-agent AI partner to accelerate research，2026-05-19。 15. Anthropic，Automated Researchers Can Reliably Mitigate Alignment Failures：官方 PDF，2026-08。 16. Paul Christiano et al.，Deep Reinforcement Learning from Human Preferences，2017-06-12。 17. Jan Leike et al.，Scalable Agent Alignment via Reward Modeling: A Research Direction，2018-11-19。 18. Hjalmar Wijk et al.，RE-Bench: Evaluating Frontier AI R&D Capabilities of Language Model Agents Against Human Experts，2024-11-22。 19. Aleksandr Bowkis et al.，Automated Alignment Is Harder Than You Think，2026-05-07。