当证据发生变化：评估语言模型智能体中的记忆修复与重读
摘要：当支持智能体推导事实的文档被撤销或替换时，智能体应当修复记忆还是重读当前证据？我们引入了一项证据修订评估，基于公共ICU记录中的用药和问题列表任务。在撤销、替换和控制事件下，我们在两个7B模型上比较了完整重读和源过滤重读与缓存、重建和图局部修复的效果。记忆以完整形式提供，不进行检索，成本包括摄入、修订和每次使用。在短记录上，局部修复使用的修订token比重建少5-10倍，但在留出条件下，每种记忆流水线的成本至少是完整重读的两倍。在一项预先指定的小型开发扫描中，添加任务不合格文档将记录扩展到约10,000个token；在该长度下，记忆的平均累积成本在使用2-14次后降至完整重读以下，部分原因是提取被截断，而源过滤重读仍然是最便宜的。在替换研究中，四项主要验证性测试均未达到统计显著性。这些结果说明了为什么在证据修订后，智能体记忆的成本必须针对源过滤重读在全流水线上进行评估。