让智能体更一致：技能应当为重复任务形成习惯
摘要：在重复性工作上，智能体的表现并不一致。我们对42个任务各运行三次，发现根据模型不同，有38%到74%的答案彼此不一致。一致性是买家、审计员或监管者所要求的，而智能体并不具备这一点。它们同样浪费严重：智能体生成内容的95.3%到97.2%都用于重新推导系统已经知道的计划。我们提出技能习惯形成（skill habit formation）。智能体从自身的执行历史中挖掘候选技能——确定性的变体，它们与现有方案竞争而非取代它。候选技能声明其主张的输入空间区域，因此常见情况作为脚本运行，其余情况则回退到推理。四道成本递增的门控来接纳候选技能；其中核心的一道将候选技能的执行轨迹与保留的参考进行比对，容差由该参考自身逐次运行的变异性测得。在text-to-SQL上，四个推理分支中有三个在42个重复问题中的11到13个上复现了自身输出，第四个在42个中的26个上复现，而一个习惯化形成的变体在我们重复的全部456次调度中都实现了复现，且不劣于它所取代的每一个分支（p<0.0001）。它还少用了14%到56%的token，在7到53次复用后转为净收益。我们测量了这在准确率上的代价。该守卫在2.6%的自然改述和26%的接近其边界的输入上接纳了本应推迟的工作，且13个此类失败中有11个在任何阈值下都对轨迹一致性门控不可见。确定性错误会精确重复：坏习惯和好习惯一样可靠，而这正是使系统可审计这一属性所付出的代价。将路由与参数提取分离，使端到端准确率从0.888提升到0.952，成本仅为原来的43%。