WorkBench Revisited: Workplace Agents Two Years On

摘要：2024年3月，WorkBench上表现最佳的智能体GPT-4完成了43%的任务，并在26%的任务中采取了非预期的有害行为（例如将邮件发送给错误的人）。我们在2026年6月重新审视该基准测试，发现迄今为止表现最佳的智能体Claude Opus 4.8完成了89%的任务，且仅有2.5%的任务出现非预期的有害行为。除了前沿智能体性能的显著进步外，还有三点值得关注。首先，在WorkBench上，能力与安全性是相辅相成的，而非此消彼长——因此完成任务最多的模型造成的非预期损害也最少。其次，尽管几类错误已被完全消除，前沿模型仍会犯一些基本错误，偶尔导致不可逆的损害（例如将邮件发送给错误的人）。第三，开源权重模型的兴起大幅降低了此前仅专有模型才能达到的性能水平的成本，而前沿模型的成本则保持相对稳定。我们发布了该基准测试的更新版本，包含数据与代码质量改进、新的模型评分，以及自2024年以来WorkBench上智能体进展的分析。