← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Evaluating SageMath-Augmented LLM Agents for Computational and Experimental Mathematics


摘要: 近期人工智能在数学领域的进展主要集中在自动形式化与定理证明上,而计算机代数系统(CAS)在基于智能体的 LLM 工作流中的作用尚未得到充分探索。我们提出了一种 ReAct 风格的智能体设置,将 LLM 推理与来自 SageMath 的可验证反馈相结合,并利用 Context7 获取最新文档。我们在模拟计算数学研究循环的场景下,针对来自 RealMath 基准测试的研究级数学问题,评估了这种智能体设置在前沿模型上的表现。我们还对 RealMath 基准测试进行了改进,引入了一个多步骤后处理流程和一个多阶段验证流水线,两者均提升了提取问题集的质量与可靠性。我们的实验表明,在所有评估模型中,接入 SageMath 带来了显著的性能提升,平均提升超过 9.7 个百分点,提升幅度从 1.5 个百分点到 27.8 个百分点不等,并缩小了开源模型与闭源模型之间的差距。Qwen 3.7-Max 从 SageMath 中获益最多,而 GPT-5.5 在启用工具的配置中实现了最高的解题率(75.2%)和最低的 token 使用量。我们的研究结果表明,CAS 增强型智能体代表了协助数学家进行计算探索的一个有前景的方向,并且我们相信这项工作朝着自动猜想发现迈出了一步。项目仓库已在线公开。

📖 阅读原文 →