摘要：超越二元可验证奖励：面向 SWE 智能体的行为自奖励
摘要：基于可验证奖励的强化学习（RLVR）通过可执行测试为软件工程智能体提供可靠的监督，但二元奖励无法区分调试质量存在显著差异的轨迹。我们研究当前策略能否评判自身的轨迹，并利用这些评判来提升任务表现，而无需单独训练一个奖励模型。为此，我们提出了行为自奖励（Behavioral Self-Rewarding, BSR），一种奖励精炼方法，它复用策略来比较同一任务、同一验证器结果下各轨迹之间可观测的调试行为。BSR 将成对偏好聚合为任务局部分数，并将其转换为有界的辅助奖励，在保留验证器定义的通过/失败排序的同时引入奖励对比。这从已收集的轨迹中提供了额外的监督信号，而无需新的环境交互。在 SWE-bench Verified 和 SWE-bench-Live 上的实验表明，在所评估的 Qwen3-14B 和 Qwen3-32B 配置上均取得了一致的改进，支持将策略自身的比较评判作为训练软件工程智能体的补充学习信号。