Harness-of-Harness：当写代码的 Agent 开始依靠“证据”跨天工作

70 轮背后，真正的新东西是什么

2026 年 9 月 1 日，上海人工智能实验室团队提交论文《Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement》，次日公开项目页面。Harness-of-Harness（HoH）不是新模型或代码编辑器，而是套在现有 Coding Agent 外部的控制系统：它反复调用同一组模型与编码支架，让项目规划者、开发者和独立 QA 每轮只交付一个可观察、可测试的软件增量，并把软件产物与测试证据共同传给下一轮。论文原文 · 项目页面

作者在 GameCraft-Bench、FrontierSWE 和 ProgramBench 上测试了 Codex + GPT-5.5、OpenCode + DeepSeek-V4-Pro、Pi + MiniMax-M3。与各自只运行一次的原生支架相比，HoH 运行三轮后，九组“支架—基准”组合全部提高：平均相对提升 52.25%，最高 82.86%。按绝对值计算，三种组合在 GameCraft-Bench 分别增加 21.93、22.08、16.62 分，在 FrontierSWE 分别增加 19、19、29 个 Dominance 百分点，在 ProgramBench 分别增加 6.09、12.29、16.85 个测试通过率百分点。完整结果表

最醒目的案例是 Fusepoint。系统从产品需求文档和空工作区出发，使用 Codex CLI、GPT-5.6-Sol、Godot 4.7、Godot MCP 及相关技能连续运行 70 轮，做出一款可操作的单人第一人称射击游戏：玩家须在五分钟内依次夺取两个控制点，再完成三阶段拆弹；三片交战区固定分布 3、5、10 名敌人，并有成功与爆炸两种结局。论文分析截止时，系统记录了 81 个问题，关闭 65 个，仍有 16 个未解决；另有 17 个问题曾因回归而重新打开。论文 HTML 全文

这项结果必须分两层理解。受控实验支持的是：模型和基础支架不变时，加入分阶段规划、独立验收、跨轮证据与产物热启动，通常优于一次性执行或简单续跑。尚未得到证明的是：HoH 已能稳定“自主开发完整软件”。Fusepoint 展示了多日连续工作和复杂产物，却没有证明商业级质量，也没有证明方法能迁移到支付、医疗、基础设施或大型协作项目。论文仍是 arXiv v1，每个“任务—条件”只有一次有效运行；截至 9 月 5 日，仓库仍称 HoH-lite “即将发布”。当前可信的结论是“机制在作者设置中有效”，而非“开发者已可放心采用”。GitHub 仓库

五年演进：问题从会不会写，变成能不能持续交付

2021 年的 Codex 代表代码生成的早期阶段：自然语言可以转成函数或短程序，执行结果也比开放文本更容易验证，但环境、权限、版本历史和长期项目状态尚未成为核心问题。Codex 论文

2023 年，SWE-bench 把评测推进真实 GitHub 仓库：模型必须理解既有代码，跨文件修改并通过测试。最初 2,294 道题来自 12 个 Python 仓库，Claude 2 的解决率仅为 1.96%，清楚划开了“会写代码”与“能在活工程里改对代码”的边界。SWE-bench

同年，ChatDev 和 MetaGPT 把产品、架构、编码与测试映射为多个 Agent。前者以对话链串联流程，后者把标准操作程序写入角色交接。ChatDev · MetaGPT 它们为 HoH 留下了两块拼图：真实环境中的代码修改，以及角色化的软件流程。但多角色本身不能阻止上游幻觉逐级传播，测试角色存在也不等于测试证据能在几十轮迭代后继续有效。

2024 年，SWE-agent 证明模型与计算机之间的接口会直接改变表现：仓库浏览、文件编辑、程序执行和错误反馈不是中性管道。其专用 Agent-Computer Interface 当时在 SWE-bench 达到 12.5% pass@1，显著高于早期非交互方法。SWE-agent AgileCoder 则把产品经理、开发者和测试者组织进多个 sprint，并用动态代码依赖图追踪不断变化的代码库。AgileCoder 从此，Coding Agent 的能力越来越属于模型、上下文、工具、执行环境、状态管理和验证逻辑组成的整体，而不只属于模型。

2025 年，长任务暴露的主要矛盾不再是上下文长度，而是交接制度。更长窗口和持续压缩无法保证项目持续变好：Agent 会在单轮做得过多，下一轮会重新摸索，也会把“已经做了很多”误判成“已经完成”。Anthropic 的长程实验采用了一套朴素制度：首个 Agent 建立初始化脚本、功能清单、进度文件和 Git 提交；后续 Agent 每次只推进一个功能，先读进度和历史，再启动应用做端到端检查，最后留下干净状态和结构化交接物。Effective harnesses for long-running agents

EvoDev 用 Feature Map 表达需求依赖，并沿依赖关系传播业务逻辑、设计和代码信息，在 Android 开发任务上报告了相对 Claude Code 基线 56.8% 的提升。EvoDev 但 SWE-EVO 同时说明，迭代也可能持续积累技术债：其 48 个演进任务平均涉及 21 个文件和 874 个测试；GPT-5 + OpenHands 在 SWE-bench Verified 单 issue 上达到 65%，在 SWE-EVO 长程任务中却只有 21%。SWE-EVO

2026 年，支架本身开始成为优化对象。AutoHarness 根据环境反馈合成代码支架，并在 145 个 TextArena 游戏中消除非法动作；Agentic Harness Engineering（AHE）把工具、中间件和长期记忆等组件文件化、版本化、可回滚化，让每次修改先声明可证伪预测，再以任务结果检验，在 Terminal-Bench 2 上把 pass@1 从 69.7% 提高到 77.0%。AutoHarness · AHE

Anthropic 随后公开了与 HoH 接近的三 Agent 架构：planner、generator、evaluator 在 sprint 前协商验收契约，generator 实现，evaluator 按硬阈值验收，角色间通过文件传递信息。Harness design for long-running application development

HoH 在这条演进线上推进的一步，是把长程开发写成两个同步变化的状态：软件产物记录“项目现在是什么”，执行证据记录“哪些行为已得到观察支持、哪些失败、哪些仍证据不足”。代码承担产品状态，证据承担认识状态；上下文能保存过去，却不能替代这种项目制度。

HoH 如何让“完成”更难伪造

每轮 HoH 有三个稳定角色。Project Planner 读取需求、当前软件和上轮证据，只制定一个边界明确、局部完整的增量目标，不能修改生产代码。Developer 是唯一写入者，修改前建立行为基线，修改后执行相关路径与回归检查。QA Tester 接收冻结的只读候选版本：黑盒检查真实输入、交互与渲染，白盒检查源码、配置、资源绑定、运行状态和日志。

关键不在“三个 Agent”，而在权限不对称：规划者决定做什么，开发者决定怎样实现，测试者决定证据是否足够。开发者可以自测，却不能用自己的完成声明代替验收；QA 可以发现问题，却不能边测边改。结论必须绑定固定版本及其截图、回放、日志或测试记录，避免用 A 版本的结果证明 B 版本已经完成。

跨轮历史也不必全部塞入长提示词。计划、测试报告、版本历史和产物保存在文件系统，初始上下文只展示分类索引，需要时再读取细节。这能减少旧信息淹没当前任务；版本记录则允许系统从严重回归中恢复，并用相似失败的旧证据协助诊断。

消融实验表明，这些状态通道共同产生效果。在 Codex + GPT-5.5 的 45 个 GameCraft-Bench 任务上，完整 HoH@3 得分 71.52，平均每题累计使用 841 万输入与输出 token；固定首轮计划、不再按证据更新，得分降至 63.39；不给规划者上轮证据，降至 65.23；每轮从空工作区重建，降至 63.67，token 反而升到 1,112 万。消融与资源统计

提升也不能简单归因于更多轮次或 token。同为三次开发 pass，普通续跑得到 58.24 分、累计 633 万 token，HoH 得到 71.52 分、累计 841 万 token；两轮 HoH 仅用 567 万 token 就取得 64.84 分，超过三轮普通续跑。流程结构带来了额外收益，但三轮 HoH 仍比普通续跑多用约三分之一 token，论文也未统一折算缓存计价、墙钟时间、工具费用和人工复核成本。因此 HoH 更像质量优先的项目控制器，而不是已经得到证明的降本工具。

五条路线正在争夺长程开发的控制权

普通长会话把“再做一次”交给同一会话，过去主要存在于对话或摘要；HoH 每轮重新分配决定权，以持久文件和冻结版本重建边界，牺牲部分思维连续性，换取责任区分与可追溯性。

ChatDev、MetaGPT 强调角色协作，HoH 只保留最难合并的规划、实现、验收三种决定，并让新计划受旧执行事实约束。AgileCoder、EvoDev、Anthropic 长程支架与 HoH 距离更近，都采用小步交付、文件交接、版本历史和测试反馈；HoH 的优势是提供了跨三种基础支架、三类基准的对照、续跑比较和状态消融，但尚未证明证据包优于 sprint contract 或 Feature Map。

AutoHarness、AHE 主要改变 Agent 使用的工具、接口和规则，HoH 则在一次运行中固定模型、基础支架和角色策略，持续改造软件本身。AHE 像改良机床，HoH 像为机床建立跨班次的生产、质检与返工制度；两者未来很可能叠加。

竞争单位正在从模型变成可审计的交付系统

如果模型不变，只改变工作制度，结果能变化多少？HoH 的回答是：足以让部分较弱起点跨过较强基线。OpenCode + DeepSeek-V4-Pro 的 HoH@3 在 GameCraft-Bench 的 Action、Simulation 分类以及 FrontierSWE 的 Performance 分类上，超过 Codex + GPT-5.5 的 Vanilla 结果。这不代表 DeepSeek-V4-Pro 全面胜过 GPT-5.5，却说明单次模型榜分不足以预测项目交付质量。

这一变化带来三个后果。

第一，长期记忆开始按可信度分层。对话记录说明“过去说过什么”，代码仓库说明“现在有什么”，测试证据说明“什么已被观察为真”。把它们混在上下文里，模型容易把计划、声明和事实当成同等可靠的信息。HoH 的核心抽象，是让执行证据成为项目的一等状态。

第二，成熟软件团队的组织原则开始进入 Agent 运行时。单一写入者、冻结候选版本、独立验收、回归记录和版本回滚并非新发明；新变化是，它们被编码为模型权限、输入输出契约和确定性规则。模型能力越强，这种结构越重要，因为更强的执行力会同时扩大正确修改和错误修改的影响。

第三，成本单位可能从 token 转向“经验证的增量”。相同 token 可以消耗在反复重建环境，也可以换取带回归证据的功能。HoH 的两轮对三轮续跑结果说明，只看 token 会漏掉流程质量；但独立 QA、重复运行、证据保存和环境隔离同样有成本，只有当返工、缺陷或人工验收显著减少时，额外投入才成立。

Fusepoint 的 17 次问题重开，比“做出 FPS”更能说明长程 Agent 的真实状态：进步不是单调的，新能力会破坏旧能力，已测试功能仍会回归，问题清单甚至会随可测试性提高而变长。系统能够继续，不是因为不犯错，而是因为错误再次出现时，历史证据没有消失。

三种未来剧本

最可能：成为现有 Coding Agent 的长任务模式

类似 HoH 的能力更可能进入 Codex、Claude Code、OpenHands 或企业平台，而不是成为独立终端产品。用户提交需求、验收条件和预算，平台生成迭代计划，为每轮创建隔离工作区与冻结候选版本，调用独立测试 Agent，再把证据、缺口和保存约束交给下一轮。Git、CI、沙箱、MCP、Agent Skills、任务队列和可编程评测已经提供了所需部件，最先适用的将是验收条件清晰、环境可复制、回归可自动检查的内部工具、游戏原型、数据管道和批量迁移。

最危险：证据包变成更精致的自我证明

HoH 的 QA 与 Developer 权限分离，但主要实验仍由同一“支架—模型”配置扮演不同角色。权限隔离不等于认知独立；如果规划、实现和验收共享盲点，QA 会稳定漏掉同类缺陷。如果指标不完整，系统还可能优化截图、冒烟测试或表面交互，而非安全性、性能和可维护性。

SlopCodeBench 在 20 个持续扩展问题、93 个检查点上的结果显示：11 个模型没有一个端到端解决完整问题，89.8% 的轨迹冗余度上升，80% 出现结构侵蚀；提示干预改善了初始质量，却未阻止持续退化。SlopCodeBench

因此，HoH 式证据不能被当作形式化保证。涉及生产部署、密钥、资金或用户数据时，最小权限、网络限制、不可逆操作审批、外部扫描器、人工发布门和事故回滚必须独立于生成体系。

最乐观：形成软件开发的证据供应链

更积极的未来是：每个需求、代码版本、构建产物、测试轨迹、性能测量和发布决定都有可追溯关系。规划者可以替换，开发模型可以接班，测试器可以由确定性工具、异构模型和人共同组成；系统不必永久保存全部聊天，只需保留足以重建判断的证据链。

届时，AHE 优化基础支架，HoH 推进具体项目，外部验证器负责安全与合规，人类处理目标冲突、风险接受和无法自动判定的质量。真正持续的不是某个永不遗忘的“数字员工”，而是仓库、证据和治理规则。

这一剧本仍需补齐多次独立复现、跨行业任务、统一成本核算、异构 QA、长期维护指标及发布后的事故数据。只有这些证据出现，“多日自主开发”才会从研究演示变成工程能力。

结论：最值得追踪的不是 70 轮，而是每轮留下了什么

HoH 最容易被包装成“AI 连续几天做出完整游戏”，但更重要的变化是：长程 Agent 的工作单位从一次会话变成带验收证据的软件增量，项目状态也从不断膨胀的上下文拆成代码与证据两条轨道。

HoH 代表的方向很可能留下，具体实现未必。规划、开发与验收的权限分离，冻结候选版本，以及跨轮保存可执行证据，都与成熟软件工程相容，也得到对照实验和消融结果的初步支持。它真正有价值之处，是把“为什么相信这个版本”变成下一轮必须读取的输入。

但一篇未经同行评审的 v1 论文、每个条件一次有效运行、一个仍有 16 个已知问题的游戏案例，以及尚未发布的轻量实现，只能构成可信的研究信号，不能构成成熟度证明。

长程自主性不是一直工作，而是一直有办法知道，前一步究竟有没有做对。

信息来源

1. Haoyang Yan 等，《Harness-of-Harness: Multi-Day Autonomous Software Development with Continual Improvement》，arXiv，2026-09-01：https://arxiv.org/abs/2609.01481 2. Harness-of-Harness 项目页面，实验结果与 Fusepoint 演示：https://flesymeb.github.io/HarnessOfHarness/ 3. Harness-of-Harness GitHub 仓库，发布状态与项目说明：https://github.com/Flesymeb/HarnessOfHarness 4. Carlos E. Jimenez 等，《SWE-bench: Can Language Models Resolve Real-World GitHub Issues?》，2023：https://arxiv.org/abs/2310.06770 5. John Yang 等，《SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering》，2024：https://arxiv.org/abs/2405.15793 6. Chen Qian 等，《ChatDev: Communicative Agents for Software Development》，2023：https://arxiv.org/abs/2307.07924 7. Sirui Hong 等，《MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework》，2023：https://arxiv.org/abs/2308.00352 8. Minh Huynh Nguyen 等，《AgileCoder: Dynamic Collaborative Agents for Software Development based on Agile Methodology》，2024：https://arxiv.org/abs/2406.11912 9. Junwei Liu 等，《EvoDev: An Iterative Feature-Driven Framework for End-to-End Software Development with LLM-based Agents》，2025：https://arxiv.org/abs/2511.02399 10. Minh V. T. Thai 等，《SWE-EVO: Benchmarking Coding Agents in Long-Horizon Software Evolution Scenarios》，2025：https://arxiv.org/abs/2512.18470 11. Anthropic，《Effective harnesses for long-running agents》，2025-11-26：https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents 12. Anthropic，《Harness design for long-running application development》，2026-03-24：https://www.anthropic.com/engineering/harness-design-long-running-apps 13. Xinghua Lou 等，《AutoHarness: improving LLM agents by automatically synthesizing a code harness》，2026：https://arxiv.org/abs/2603.03329 14. Jiahang Lin 等，《Agentic Harness Engineering: Observability-Driven Automatic Evolution of Coding-Agent Harnesses》，2026：https://arxiv.org/abs/2604.25850 15. Gabriel Orlanski 等，《SlopCodeBench: Benchmarking How Coding Agents Degrade Over Long-Horizon Iterative Tasks》，2026：https://arxiv.org/abs/2603.24755

资料访问与核验时间：2026-09-05。所有百分比均按原始来源口径保留；“相对提升”与“绝对百分点提升”已作区分。