标题： AgentLens：面向编码智能体评估的生产级轨迹审查
摘要： 我们提出 AgentLens，一个面向交互式代码智能体的生产级评估基准。大多数代码智能体基准将一次运行简化为单一比特——任务是否通过？——但实际使用这些智能体的人体验的是完整轨迹：智能体如何遵循指令、使用工具、验证自身工作、从错误中恢复，以及在此过程中与用户交流。AgentLens 评估的是整个轨迹。它将存在客观检验的形式化验证，与 LLM 编写的轨迹审查及并排比较相结合，使得每次运行都能生成一份可读的解释，说明得分为何如此。这使得 AgentLens 的用途不仅限于模型排名：我们用它来诊断模型行为、比较我们自身智能体的连续版本，并在夜间评估流水线中捕获产品回归。我们将该基准以开源形式发布在此 https URL。