← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Closed-Loop Control with Rule-Aligned Small Language Models and Multi-Agent Self-Correction


闭环控制:基于规则对齐的小语言模型与多智能体自我修正

摘要: 实现自主工业运营的关键一步,在于能够根据自然语言需求规范创建并重新配置控制策略,且只需极少或无需手动重新设计。在此背景下,当与一个能够执行前验证生成候选动作的工厂感知验证器(例如数字孪生)配合使用时,由AI智能体生成策略可成为一条可信路径。然而,实际部署受限于推理延迟和计算开销:大型云端模型对于边缘闭环应用而言,往往速度过慢、不透明或对数据敏感。本研究探讨了是否可以对紧凑型小语言模型(SLM)进行重新训练以用于控制推理,并将其嵌入到验证器引导的修正循环中。我们使用了通过群体相对策略优化(GRPO)对齐的Qwen2.5-1.5B模型,并结合了(i)动作智能体、(ii)符号化/数字孪生风格的验证层,以及(iii)一个迭代地将输出引导至有效动作的重新提示智能体。在随机热控制模拟中(30次实验,每次500步),该框架实现了91.5%的平均动作对齐准确率(各案例区间为86.3%–100%),平均推理延迟为3.84秒。在符号重新映射下,它保持了95%的范围内比率,表明尽管词元级别的一致性有所降低,但仍能实现稳健的物理调节。这些结果支持将SLM+验证器架构作为实现边缘可重构自主控制的一条实用路径。

📖 阅读原文 →