摘要
现有的智能体记忆框架主要通过智能体与事实世界的交互来构建记忆，例如记住所采取行动的反馈，以提升未来任务的表现。然而，这些框架在记忆构建过程中很少提出反事实问题：如果采取了不同的行动，反馈是否会改变，以及这种反馈如何能成为有用的记忆？在活跃环境中直接获取此类反馈可能代价高昂，并且可能改变比较所需的状态。在这项工作中，我们引入了 COUNTERMEM，一个用于跨任务构建和使用经过验证的反事实记忆的强化学习框架。在一次失败的行动之后，COUNTERMEM 使用可执行的世界模型（如测试、证明检查器和求解器）从原始状态的副本或重置中评估局部替代方案。它存储改进结果，包括原始行动和修正后的行动、经过检查的结果以及复用条件。一个学习到的记忆使用策略选择检索到的记录或跳过记忆，以平衡任务成功率和交互成本，同时基础 LLM 保持固定。在留出评估期间，记忆和策略均被冻结。我们在六个领域的 12 个基准设置上评估了 COUNTERMEM。使用 gpt-oss-120b 时，COUNTERMEM 在六个领域的全部 12 个基准上同时提升了 ReAct 和 Reflexion，相比未增强版本平均提升 12.6 个百分点。在两个骨干模型的四领域对比中，任务运行 token 减少了 7.7-42.0%，不包括离线选择器训练成本。进一步分析表明，移除验证或持久化存储会削弱增益，而将经过验证的修正应用于不合适的决策则可能适得其反。代码将在录用后发布。