← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Beyond Symmetric Agents: Cognitive Diversity and Multi-Agent Debate in Small Language Models


摘要:超越对称智能体:小语言模型中的认知多样性与多智能体辩论

摘要:据报道,多智能体辩论(MAD)在推理和事实性方面优于单模型推理,但先前的工作将智能体视为对称的对等体,未能阐明其增益来源。我们在问题仍可测量的情境下——具有基准提升空间的小型开放权重模型——检验了以下假设:智能体之间的认知多样性是增益的驱动因素。我们跨越来自11个厂商家族的23个模型、五项任务以及5,500余次辩论和对照运行,沿三个维度变化多样性——人格设定、采样温度和模型身份——并将每种辩论配置与生成预算匹配的多数投票对照组配对。该假设在所有维度上均被否定。辩论确实优于单智能体推理(在任务有提升空间时高出3-7个百分点),但在预算匹配条件下,它与自一致性采样持平甚至落后,同时消耗1.6倍的墙钟时间和3.4倍的token成本。人格提示降低了准确率,而针对每个模型完整组合人格空间的剂量-响应实验表明,这一代价是人格税而非多样性税:冗余人格损害最大,而最大程度多样化的团队能挽回部分损失。此外,混合模型团队输给了对其自身成员阵容的多数投票,准确率追踪的是成员能力而非异质性,且辩论几乎全部收益来自第一轮答案交换。我们进一步发现了一种普遍存在的测量隐患:辩论记录会悄然溢出服务上下文窗口,仅修正这一问题就使我们的辩论与采样对比从-1.8个百分点变为持平。我们的结果将已报道的MAD增益重新解释为一种集成采样效应,并提供了预算匹配、污染检查的基线标准,未来的辩论机制应被要求超越此标准。

📖 阅读原文 →