标题: CoCoDA:面向工具增强型智能体的协同演化组合式有向无环图
摘要: 工具增强型语言模型能够通过外部可执行技能扩展小型语言模型的能力,但工具库的规模化会带来一个耦合挑战:随着新的可复用子程序出现,工具库必须与规划器协同演化,同时从不断增长的工具库中进行检索必须保持在固定的上下文预算内。现有的工具使用和技能库方法通常将工具视为扁平化或基于文本索引的记忆,这会导致提示成本随工具库规模增长而增加,并掩盖了可执行代码的类型化、组合式结构。我们提出 CoCoDA 框架,通过单一的原生代码结构——组合式代码有向无环图(DAG)——实现规划器与工具库的协同演化。节点代表原始工具或复合工具,边编码调用依赖关系,每个节点存储类型签名、描述、前置/后置条件规范以及工作示例。在推理阶段,类型化 DAG 检索通过符号签名统一剪枝候选工具,依据描述对幸存工具排序,通过行为规范过滤,并借助示例消除歧义,从而将昂贵的上下文实例化操作逐步限制在更小的候选集上。在训练阶段,成功的轨迹被折叠为经过验证的复合工具,同时规划器通过 DAG 诱导的奖励进行更新,该奖励根据复合工具的原始扩展规模为其赋予信用。我们提供了理论结果,证明检索成本降低、次线性检索时间、在塑形奖励下的组合优势、保守更新下的单调协同演化以及 DAG 结构良好性。在数学推理、表格分析和代码任务基准测试中,CoCoDA 使 8B 参数的学生模型在 GSM8K 和 MATH 上能够匹配或超越 32B 参数的教师模型,并持续优于强大的工具使用和技能库学习基线方法。