← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading


摘要: AI 智能体已能够自主完成简短、明确的任务。然而,现有的终端基准测试主要关注那些在几分钟内完成、仅通过最终结果评估的简单问题。这种设置忽略了中间进展和部分解决方案,导致奖励信号稀疏,无法全面反映智能体的能力。我们提出 Long-Horizon-Terminal-Bench,这是一个包含 46 个长周期任务的终端基准测试,涵盖九个类别,包括实验复现、软件工程、多模态分析、交互式游戏和科学计算。每个任务遵循 Terminal-Bench 风格的设置,配有参考解决方案或仿真引擎,但进一步细分为细粒度的分级子任务。这种设计能够提供密集的中间奖励和部分得分,使评估不仅能捕捉智能体是否达到最终目标,还能衡量其在开放式工作流中的进展程度。Long-Horizon-Terminal-Bench 中的任务通常需要数百个回合以及几分钟到几小时的执行时间,强调长周期规划、长上下文管理和迭代调试,而非一次性问题求解。我们评估了 15 个前沿模型,发现智能体平均每个任务消耗 990 万个 token,每次运行大约需要 231 个回合和 85.3 分钟的执行时间,这使得 Long-Horizon-Terminal-Bench 比以往的终端基准测试更具挑战性。即使是最强的测试模型,在部分奖励阈值为 0.95 时 pass@1 仅为 15.2%,在完美奖励阈值为 1.0 时仅为 10.9%;而所有模型在这两个阈值下的平均通过率分别为 4.3% 和 1.7%。这些结果揭示了巨大的改进空间。我们进一步分析了失败模式和错误类型,并发布 Long-Horizon-Terminal-Bench,以支持未来在长周期终端智能体方面的进展。

📖 阅读原文 →