摘要：EvoBelief：面向自我改进 LLM Agent 的可证伪世界模型
摘要：自我演化的 LLM Agent 通常通过积累经验、反思或技能来改进其行动方式。然而，即使 Agent 在程序性能力上足够强，当其对环境动态的信念不完整、不正确或过时时，仍然可能失败。我们研究了自我演化的一个互补维度：在部署过程中演化这些信念。此类信念可以支持多个任务，但错误的信念也可能在任务之间传播。我们提出 EvoBelief，一种自我演化的世界模型，将环境知识表示为可证伪的假设。意外结果和与决策相关的未知因素会触发假设形成。后续观察和受控实验提供独立验证，之后规则才能在其支持范围内指导预测或规划。随着环境变化，反例会缩小或淘汰规则。语言模型保持冻结，每条规则始终与其证据及其所改变的决策相关联。在涵盖静态动态、隐藏漂移和科学发现的四个基准上，EvoBelief 提升了任务表现，并实现了跨任务的学习规则复用。在无 actor 侧转移记忆的 ALFWorld 上，它相比匹配的 Frozen World Model，在使用 Claude Haiku 4.5 和 GPT-5.4 时分别将成功率提升了 23.9% 和 31.3%。在 MiniGrid 上，它会修正过时规则，并在未事先通知的动态变化后恢复。在 DiscoveryWorld 的 Reactor Lab 中，它发现并验证定量规律，完成了 83.3% 的 Normal 级和 58.3% 的 Challenge 级实例，而每个被评估基线均为 0%。这些结果表明，自我改进可以通过可测试、可修正的环境知识实现，而不是通过模型参数更新。