摘要:长时程语言智能体中的重尾记忆痕迹
长时程语言智能体日益依赖外部记忆作为冻结的世界模型,然而当前的记忆系统通常仅以任务成功率或 token 成本来评判。我们认为,缺失的对象是记忆使用的形态:在有限上下文和重复检索下,智能体记忆可能集中于一个小的核心,而将稀有状态留在长尾中,预测误差在那里不断累积。我们通过一项保守的尾部审计来研究这一效应,发现集中现象是可复现的,但依赖于策略。随机游走智能体产生与对数正态分布兼容的检索痕迹,而语义 LLM 策略则产生最强的与截断幂律兼容的核心—尾部痕迹。受此审计的启发,我们提出核心—尾部世界模型(Core–Tail World Model, CTWM),一种基于排名的记忆控制器,它以单一指数 $\tau$ 分配提示预算,同时保留一个摘要化的尾部。在 Synthetic Graph World 上,CTWM 保持了完整的状态和转移覆盖,减少了 5.9% 的提示 token,并将下半尾部预测误差相对于图记忆基线降低了 13.6%。相同的配对比较在 ALFWorld 上给出一致的 token 节省,并在 LongMemEval 上实现 24.48% 的 token 缩减,同时总体准确率持平。这些结果表明,重尾记忆痕迹不仅是有限检索的一种诊断指标,也是面向 token 高效智能体世界模型的一种实用控制信号。