标题： SentinelBench：面向长时间运行监控智能体的基准测试
摘要： 人工智能智能体正越来越多地被要求执行持续数分钟、数小时甚至更长时间的任务。然而，智能体行为的默认模式是连续行动：发出工具调用、刷新页面、搜索替代方案，或以其他方式试图强行推进进度。对于许多长时间运行的任务而言，这是一种错误的方法，更好的策略是保持持续关注。相反，智能体应监控环境，在外部事件使进展成为可能时及时察觉，然后迅速响应，避免在等待过程中浪费资源。为了衡量在这类任务上的进展，我们推出了 SentinelBench，一个面向时间演化监控任务的开源基准测试。SentinelBench 包含 100 个任务，覆盖 10 个合成网络环境，包括电子邮件、日历、金融、专业社交和娱乐。每个环境都提供一个实时网页界面，并回放一系列脚本化的事件序列，要求智能体在页面状态动态变化的情况下进行导航和推理。SentinelBench 衡量任务完成度、响应时间和资源使用情况，揭示了响应能力与成本之间的权衡。我们报告了三种模型和两种浏览器智能体框架的实验结果，为未来比较建立了性能基线，并展示了智能体设计选择如何显著影响关键指标。综合来看，这些结果表明 SentinelBench 能够有效区分智能体行为中的有意义差异。