摘要:Humanize:面向智能体编码的评判工程
智能体编码使代码生成变得廉价,但可靠地完成任务仍然困难:编写代码的智能体对代码是否完成是一个薄弱的评判者。我们提出 Humanize,一种面向智能体编码的多智能体编排工作流,围绕评判工程构建:在规划、实现、审查和学习之间的边界上做出显式的、机械强制的决策。人类批准计划契约,构建者智能体分轮次实现它,来自另一供应商的审查者智能体决定是否完成;确定性的钩子——而非模型——在这些角色之间路由工作,并强制执行 72 道机械门禁。将其视为仓库状态上的马尔可夫链,交替的构建者和审查者联合从两个模型中采样,因此缺陷只有在两者都遗漏时才能存活。我们通过其部署、118 份真实循环的公开事后分析及其应用来研究 Humanize。在 108 天内历经 68 个版本,它获得了 1,468 个 GitHub star。应用包括:在上游审查下进行的 567 文件的 gem5 构建系统迁移;Kernel Design Agents,它通过内核知识库和分析反馈扩展了该循环,并在 MLSys 2026 FlashInfer 竞赛的全部三个 Full-Agent 赛道中均进入前三名;以及通过 Humanize Olympiad Agents(HOA),在 IOI 2026、IMO 2026、IPhO 2026 和 IBO 2024 中取得满分,在 IChO 2026 中取得 418.5/437(金牌)。Humanize 还在 PutnamBench 上达到 672/672,并在 Lean-Eval 排行榜上排名第一(251/303),即使与专业数学家竞争也是如此。事后分析表明,独立审查能捕获构建者无依据的声明,但停止仍然是一个关键弱点。在按阶段区分轮次的报告中,三分之二的轮次发生在实现被接受之后。这些证据是观察性的,而非对工作流的受控比较。