摘要：以智能体自身为优化器的多任务自演化 Harness
摘要：Harness 是围绕语言模型智能体的代码，用于组织提示词、调用工具、管理上下文并控制执行。随着模型能力不断增强，近期研究开始让智能体改进自身的 harness，这一研究方向被称为自演化 harness。在大多数现有方法中，一个运行在人工设计 harness 上的独立提议者会修改求解器的 harness，并且每个基准测试都会演化出独立的 harness。现实世界中的任务来自众多领域，因此 harness 的演化和评估都应覆盖多样化的任务范围。我们提出了一个接近递归自我改进的框架：同一个冻结模型，在同一版本的 harness 上，首先作为求解器解决任务，然后作为提议者读取完整的运行记录，并直接编辑运行它的 harness。每个演化批次从五个不同领域的基准测试中抽取任务。为衡量泛化能力，训练任务与留出任务被严格分离，此外我们还在演化过程中从未使用的五个分布外基准测试上进行评估。我们将演化过程构建为具有两个阶段的深度学习训练：多任务预训练和持续训练。从一个 49 行的种子 harness 出发，第一阶段结束时获得的 harness 在分布内基准测试上平均得分提升 4.48 分，在分布外基准测试上提升 12.64 分，在前者上超越 Codex，在后者上与 Codex 持平。在第二阶段，在 Claw-Eval（分布外基准测试之一）上继续演化，将该基准测试上的得分从 66.17 进一步提升至 68.06，超过了 Codex。我们还对演化过程中涌现的机制进行了深入分析，包括输出截断、历史压缩和独立审查。