Agent Plasticity: Measuring Self-Improvement Through Experience

Agent Plasticity: Measuring Self-Improvement Through Experience

摘要：AI agent 越来越多地在能够诊断失败并通过经验改进的环境中运行，然而现有的评估主要衡量 agent 在某一固定时间点能做什么，而非它学习的效果如何。评估自我改进需要回答三个问题：未来性能是否提升，并且能否泛化到促成学习的交互之外；新能力的获取效率如何；自我改进过程在哪里出现断裂？为回答这些问题，我们在受控环境中研究自我改进，其中 agent 将过往经验摊销为可复用的产物，并由未来的实例继承。在每个检查点，我们衡量其在训练和留出环境交互上的表现，同时计入学习成本。我们引入 agent plasticity（agent 可塑性），即 agent 将经验转化为未来留出性能增益的效率。在多个环境中，前沿模型尽管拥有可比的学习机会，却表现出截然不同的改进轨迹。一些模型取得了显著且持续的增益，而另一些则接近或低于其初始表现，且训练范围内的增益往往只能部分迁移到分布外条件。终点能力与获取效率也会出现分化：最终表现最好的 agent 未必是改进效率最高的那个。通过改进循环追踪失败，进一步揭示了不同的候选瓶颈。可塑性低的 agent 往往无法复用相关产物，而可塑性更高的 agent 即便复用了相关产物仍可能失败，这表明在产物质量、泛化或应用方面存在局限。评估自我改进的 agent，不仅需要衡量它们能做什么，还需要衡量它们通过经验变得更好的效果如何。