短任务AI已经过时,最新基准把Agent扔进“马拉松式”终端任务
当前AI Agent能轻松完成点个外卖、发封邮件这类短周期任务,但真正考验能力的是需要连续操作数小时甚至数天的“长周期终端任务”。Long-Horizon-Terminal-Bench(LHT-Bench)填补了这一测试空白——它设计了需要数百步连续操作才能完成的终端场景,并采用“密集奖励评分”机制,每一步操作都会获得即时反馈,而非仅看最终结果。这种设计迫使Agent必须保持策略一致性和长期记忆,而不是靠运气蒙混过关。初步测试中,GPT-4等顶级模型的成功率不足20%,而人类平均可达70%以上。这个基准揭示了一个残酷事实:当前AI的“短期聪明”与“长期靠谱”之间,还隔着一条巨大的鸿沟。
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
AI agents have become capable of autonomously completing short, well-specified tasks. However, existing terminal benchmarks largely focus on simple pr