摘要：强化学习（RL）研究正日益将焦点转向对齐（alignment），确保智能体学习符合人类价值观的行为。尽管人类示范和反馈已被证明对对齐至关重要，现有方法主要将这些信号结合到为语言生成的上下文赌博机框架（contextual bandit framing）设计的多阶段流程中。然而，很少有工作探索这些互补输入如何能在完全序列决策环境中，作为更丰富、相互关联的信号用于单阶段离线训练。我们提出反馈操纵正则化（Feedback Manipulation Regularization, FMR），一种与算法无关的方法，利用评估性反馈作为修正信号，以提升模仿学习策略的对齐能力。我们将 Safety Gymnasium 环境改造为用于对齐评估的原则性测试平台，实验表明，在一系列模仿学习算法中，该方法展现出更强的对齐能力，并将错位（misalignment）降低高达 98%。即使在数据有限的场景下，当从稀缺的对齐示范和无信息噪声示范中学习时，FMR 依然保持鲁棒性。