摘要
多智能体系统广泛应用于需要在严格安全约束下进行协调行为的安全关键型应用中。现有方法面临一个根本性权衡：基于学习的方法虽能取得强劲的实证表现，但缺乏理论上的安全保证；而基于控制理论的方法虽能强制执行安全性，却往往导致过于保守且低效的行为。我们提出了一种分层多智能体强化学习框架，该框架在低层通过约束流形（constraint manifold）在温和假设下强制执行硬性安全约束，同时通过高层策略学习实现有效协调。我们的方法在多智能体场景中提供了理论上的安全保证，并产生平稳的学习动态，从而实现稳定且高效的训练。实验表明，我们的方法在保持近乎完美的安全率的同时，达到了具有竞争力的性能，并能有效泛化至不同数量的智能体和障碍物场景。