INFRAMIND: 基础设施感知的多智能体编排
摘要： 现有的多智能体 LLM 编排方法，从暴力集成到学习型路由器，都是基于任务和模型特征来选择模型与拓扑结构。然而，这些方法并未考虑服务基础设施的运行时状态。在并发负载下的共享 GPU 集群中，这种对基础设施的忽视会导致系统性的资源利用不足：优先模型会积累深度请求队列，而能力相当的备选模型却处于空闲状态。在多智能体流水线中，每个查询会触发多次连续的模型调用，这些延迟会进一步累积到每一个下游步骤。弥补这一差距颇具挑战性，因为相关的基础设施信号（队列深度、KV-cache 压力、延迟）是动态且带有噪声的，并且它们必须驱动三种不同的决策：规划、每步路由和调度。我们引入了 INFRAMIND，这是一个使整个多智能体栈具备基础设施感知能力的框架。一个基础设施感知的规划器会根据实时系统负载和剩余预算来调整拓扑结构与角色选择，在拥塞时偏向更简单的图，在低负载时则采用更丰富的图。一个基础设施感知的执行器随后会在每个智能体步骤中观察每个模型的队列深度、缓存利用率和响应延迟，以决定调用哪个模型以及推理的深度；一个预算感知的调度器会进一步重新排序每个模型的队列，使紧急请求优先得到服务。该系统被建模为一个分层约束 MDP，并通过强化学习进行端到端求解，从而自动学习平衡质量与延迟。在五个基准测试中，INFRAMIND 在低负载下相比先前基线实现了高达 +7.6 个百分点的准确率提升，同时延迟降低多达 7 倍；在高负载下，当所有基线方法的 SLO 合规率都降至 50% 以下时，INFRAMIND 仍能维持高达 99.9% 的 SLO 合规率。