CLEAT：为交互式智能体学习价值引导的澄清
摘要：LLM 智能体能够执行日益复杂的任务，但有效的协助还需要将其行动与用户可能未明确说明的目标和约束对齐。我们将这一问题作为通过澄清实现的交互式意图对齐来研究。然而，只有当智能体能够将答案转化为更好的决策时，澄清才有用。由于训练会改变智能体处理不完整信息以及利用额外答案的方式，同样的澄清可能变得更有用或更没用。我们提出 CLEAT（CLarification through valuE-guided Agent co-Training，价值引导的智能体协同训练澄清），这是一个从共享交互结果中协同训练澄清价值控制器和任务策略的框架。我们形式化定义了残差查询价值，用以衡量在当前策略下通过提问而非直接推进所获得的任务效用，并通过来自同一交互历史的成对 rollout 来估计它。这些成对回报训练控制器预测澄清价值，并训练任务策略选择有用的问题并对答案采取行动。控制器指导后续的 rollout 收集，而更新后智能体的结果提供新的价值标签，使澄清指导能够随着智能体的学习而自适应调整。在 Qwen3-4B 上，CLEAT 在四个基准的十个评估设置中均取得了最高平均分。相较于最强基线，在 UserGym Travel 和 IN3 欠指定判断准确率上分别提升了 13.2 和 6.5 个百分点。消融实验表明，即使在推理时移除控制器，协同训练也能改善任务策略，而将澄清指导适应于不断演化的策略则带来了进一步的增益。