摘要： 训练用于长周期交互任务的小型语言模型智能体，既需要快速模仿，也需要奖励驱动的改进。在线策略蒸馏（OPD）提供了密集的教师指导，通常在早期阶段提升迅速，但一旦学生模型接近教师模型，其收益便会饱和，从而限制了最终的性能上限。强化学习（RL）直接优化环境奖励，并鼓励向更高的奖励定义上限进行探索性改进，但稀疏且延迟的反馈使得其早期学习效率远低于 OPD。在本文中，我们提出 ATOD（退火式回合感知在线策略蒸馏），这是一种混合在线蒸馏算法，明确利用了这种互补性。（1）ATOD 采用退火式 OPD-RL 调度：OPD 主导早期训练以接近教师级行为，而 RL 则逐渐增强以驱动基于奖励的探索。（2）ATOD 引入了回合级分歧-不确定性重加权（T-DUR），该机制软性地放大高效用回合，并在长轨迹中提供更密集的监督。在 ALFWorld、WebShop 和 Search-QA 上的实验表明，ATOD 持续优于竞争性的后训练基线：在三种学生模型规模上，ATOD 相较于 OPD 平均成功率提升了 3.03 个百分点，相较于 GRPO 提升了 23.62 个百分点，同时超越相应教师模型 2.16 个百分点。