← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Search Discipline for Long-Horizon Research Agents


摘要:自主研究智能体现在能够根据某个指标提出、评估并选择科学候选方案,而该指标通常是对异质性空间(如区域、切片或队列)进行聚合简化后的结果。我们证明,当科学有效性存在于这种非聚合结构中时,聚合指标可能会将错误的候选方案排在首位。表面数字提升了,但其底层的结构却发生了反转,因此基于该数字做出的决策会接受一个悄然破坏模型的候选方案。这种失败并非特定领域的问题。只要候选方案的有效性是多维的,而其验证器是单一的简化指标,这种反转就会出现。我们在生态系统人口模型中的火灾模型任务上演示了这种反转。得分最高的候选方案与得分略低的方案在全球得分上处于噪声范围内,但得分最高的方案会导致受保护的北方区域崩溃,而另一个方案则能保护这些区域。区分二者的关键在于每个区域的行为,而非表面数字。这一决策不应留给生成候选方案的智能体。优化得分的智能体最不可能发现得分本身是错误的,而一旦智能体停止运行,提示词便再无后续回合。我们将决策转移到一个外部控制循环中,该循环根据每个候选方案的非聚合行为进行审计,并在智能体做出决策后采取行动。它可以降级智能体原本会接受的候选方案,也可以重新开启智能体已宣布完成的运行。我们的贡献在于发现了这种反转现象本身,并提出了一种搜索纪律协议,该协议基于可审查的候选方案效果证据而非得分进行决策。

📖 阅读原文 →