← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Know What You Don't Know: Agentic Data Synthesis by Evolving Generation Space for Closed-Loop Learning


知道你所不知道的:通过演化生成空间进行闭环学习的智能体数据合成

摘要:大语言模型的持续改进日益依赖于合成经验,然而面向交互式智能体的有效数据合成不仅需要可执行且可验证的轨迹,还需要能为当前任务智能体提供学习价值的交互。现有方法越来越多地引入环境反馈、数据验证或学习者的失败信息,但仍面临反馈到决策的鸿沟:观察到的弱点并不直接指明未来的合成应如何改变,也不明确它们是否能被当前合成空间所表示。为弥合这一鸿沟,我们提出 EvoSyn,一个由学习反馈驱动的多智能体框架,它围绕一个可修订的状态来组织合成过程,该状态规定了哪些交互因素可以被有意生成,以及合成努力应分配到何处。一个角色专门化的多智能体系统将学习者反馈转化为合成修订,同时一个 Designer 分配合成方向,一个 Planner 将其落地为可执行的经验。这一过程支持面向薄弱或覆盖不足区域的空间内适应,以及将新发现的因素提升为显式生成控制的合成空间扩展。在 $\tau^2$-Bench 和 CAR-Bench 上的实验表明,EvoSyn 相比最强的合成基线将平均任务成功率提升了 13.3 个百分点,同时产生了更高质量、结构更广泛的合成经验,并发现了在没有学习者反馈时会被遗漏的可控因素。

📖 阅读原文 →