摘要： 训练用于长周期交互任务的小型语言模型智能体，既需要快速模仿，也需要奖励驱动的改进。在线策略蒸馏（OPD）提供了密集的教师指导，通常在早期阶段能快速提升，但一旦学生模型接近教师模型，其收益便会饱和，从而限制了最终的性能上限。强化学习（RL）直接优化环境奖励，并鼓励向更高的奖励定义上限进行探索性改进，但稀疏且延迟的反馈使得早期学习效率远低于OPD。在本文中，我们提出ATOD（退火式回合感知在线策略蒸馏），一种混合在线蒸馏算法，明确利用了这种互补性。(1) ATOD采用退火式OPD-RL调度：OPD主导早期训练以接近教师级行为，而RL则逐渐增强以驱动基于奖励的探索。(2) ATOD引入了回合级分歧-不确定性重加权（T-DUR），该机制软性地放大高效用回合，并在长轨迹中增强密集监督。在ALFWorld、WebShop和Search-QA上的实验表明，ATOD始终优于竞争性的后训练基线：在三种学生模型规模上，ATOD相较于OPD平均成功率提升了3.03个百分点，相较于GRPO提升了23.62个百分点，同时超越相应教师模型2.16个百分点。