← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents


摘要: 大语言模型(LLM)智能体正越来越多地被部署为围绕可编辑外部“工具包”(harness)构建的系统,这些工具包包括提示词(prompts)、技能(skills)、记忆(memories)和工具(tools),它们在不改变模型参数的情况下塑造任务执行过程。工具包自我进化(Harness self-evolution)通过根据执行证据更新这些工具包来使此类智能体适应环境。然而,目前尚不清楚模型在任务解决方面的基础能力是否能预测其在工具包自我进化方面的能力:哪些模型能产生有用的工具包更新,哪些模型又能真正从中受益?我们分析了两种工具包自我进化能力:(i) 工具包更新能力(harness-updating),即根据执行证据产生有用的持久性工具包更新的能力;(ii) 工具包受益能力(harness-benefit),即在任务解决过程中从更新后的工具包中获益的能力。我们的分析揭示了两个发现。首先,工具包更新能力在基础能力上是平坦的:来自不同能力层级的模型所产生的工具包更新,带来的性能提升惊人地相似;甚至 Qwen3.5-9B 的更新所带来的增益也与 Claude Opus~4.6 相当。其次,工具包受益能力在基础能力上呈现非单调性:弱层级模型从更新后的工具包中获益甚微,中层级模型获益最多,而强层级模型的获益则少于中层级模型。我们将弱层级的低收益归因于两种失败模式:弱层级模型可能无法激活相关的工具包工件(harness artifacts),或者虽然激活了它们,但未能忠实地遵循这些工件。这些发现表明,应将能力预算投入到任务解决智能体而非进化器上,并在智能体训练中重点关注工具包调用(harness invocation)和长程指令遵循(long-horizon instruction following)。我们的源代码已在此 https URL 公开。

📖 阅读原文 →