摘要
Agentic 大语言模型如今已能处理复杂任务，但长时程的战略推理仍研究不足：大多数 agentic 基准测试都是短时程、片段式的，而长任务上的表现很难拆解为存储知识、推理和运气。我们提出 SpireBench，让模型游玩完整的商业卡牌构筑游戏《杀戮尖塔》（Slay the Spire，StS），其中早期决策决定长期成败。在游戏最高难度下，我们对 20 个大语言模型（LLM）进行了测试，前沿模型击败了启发式基线，达到了人类玩家的平均水平，但仍远远落后于专家。随着游戏进程拉长，这一差距进一步扩大：最强的模型在第一幕的胜率与专家相当，之后便逐渐落后。强模型与弱模型之间的区别在于它们每场战斗的表现；所有模型在整个流程中都会误判风险，倾向于保留生命值，而非消耗生命值来变得更强。对游戏中每一个术语进行全面且自洽的重新命名表明，模型的部分表现依赖于对游戏的先验知识，而且模型并不会从跨局写入的记忆中有所提升——这些记忆往往是错误的，且过于保守。我们的测试框架是首个让模型游玩完整原版游戏的工作，我们将其与现有框架进行了比较。总体而言，SpireBench 提供了一个尚未饱和的长时程基准测试，并附带工具来定位 agent 在何处失败以及为何失败。