← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Memory in the Loop: In-Process Retrieval as ExtendedWorking Memory for Language Agents


摘要: 语言智能体运行一个循环——观察、推理、行动——但它们所依赖的记忆却位于这个循环之外:一个每轮最多查询一次的存储。我们研究的是记忆进入循环内部、每一步都进行读写的新模式。其障碍始终是延迟:网络化存储的响应时间为数十到数百毫秒,而当检索成本高昂时,循环内检索可能使端到端延迟增加高达83倍。先前的工作是在管理这种成本,而非质疑它:服务层调度将其隐藏,记忆优先的设计将检索限制为每轮一次。我们认为延迟是存储位置的性质,而非循环内模式的属性:进程内存储的响应时间约为100微秒,比网络模式低三个数量级,在此速度下,每步的额外开销几乎消失。根据扩展心智理论的等价原则,一个足够快、能够持续且直接可用的存储,就变成了扩展的工作记忆,而不仅仅是智能体偶尔查阅的工具。这一前提是因果性的:在固定每轮记忆延迟预算、仅改变存储响应速度的条件下,冗余动作随延迟单调增加——在进程内速度下为0.0/12,在110毫秒的云端往返延迟下为7.2/12(gpt-5-nano, gpt-5-mini;精确置换检验 p=0.0079)。我们端到端地展示了这一模式:在四种GPT-5级别模型上,在有限窗口下,使用循环内记忆后,召回率从0/5提升至3.6-4.8/5,存储操作的中位延迟为80-165微秒——尽管一个要求“每次回复都重述”的基线也能完美解决该问题,但其令牌成本随工作集增长而增加。存储在任何运行中从未丢失任何事实(244次写入全部保留);每一次遗漏都归因于智能体的读取策略,而非存储本身。我们的测量还重新定位了瓶颈:每步的主要成本是嵌入(通过网络约200-400毫秒);将进程内存储与一个小型本地嵌入器配对,可将完整操作的实际测量时间降至约40微秒。

📖 阅读原文 →