📡 最新洞见
9月20日
基准反馈会把自我改进 Agent 的评测环境变成持久行为规则的写入面
这次风险来自自我改进系统原有的工作方式。2025 年的 Self-Improving Coding Agent（SICA）让模型修改 Agent 的提示词与脚手架。该改动把 SWE-bench Verified 随机子集上的成绩从 17% 提到 53%。SWE-bench Verified 是用真实 GitHub 代码修复任务测试 Coding Agent 能力的基准，经人工筛选后题目质量更可靠。同年的 Darwin Gödel Machine（DGM）让 Agent 改写自己的代码，再以编程基准决定哪些版本进入档案。论文报告其 SWE-bench 成绩从 20.0% 升至 50.0%。Polyglot 从 14.2% 升至 30.7%。Polyglot 是包含多种编程语言题目的编程基准，用来检验 Agent 跨语言的代码能力。两项工作都没有修改底层模型权重，增长来自工具、提示词和工作流的变化。