摘要：快速模型，缓慢证据：面向 LLM Agent Harness 的 System-1 决策模型的配对与自审计评估
Agent harness 在每个任务中都会做出许多小型的、带类型的决策：调用哪个模型、使用哪个工具、检索到的文本是否相关、输入是否携带注入。System-1 决策模型通过单次前向传播以类别概率回答此类问题，有望相比 LLM 调用大幅节省成本和延迟。我们提出了一项对开放权重（Laya）和托管（Jev）System-1 模型的配对评估，涵盖由 18 个公开来源构建的 11 个 agent 决策点：7,283 个基础案例加上 6,640 个鲁棒性变体，具有字节级相同的输入、配对检验以及跨硬件和跨天的可复现性检查。Jev 在 11 个决策点中的 9 个上显著更准确（+10.8 至 +46.0 个百分点）。两个模型在零样本模型路由上都不优于随机，并且在 RAG 相关性门控上打成平手。Laya 在选项顺序反转时会改变 30% 的答案，并且在候选众多或相似时急剧退化（50 个最近邻工具时为 31%，而 Jev 在具有唯一正确工具的条目上为 98%）。我们还审计了自己的流程。三个分析错误和一个设计混杂因素扭曲了头条部署结论：遗漏的预筛选成本（报告节省 23.9%，实际为 4.3%）、将门控准确率报告为端到端质量（58% 对 98%）、样本内阈值（目标 5%，留出集漏检率最高达 17%），以及注入假阳性上的通道效应，该效应在通道原生内容下消失。另外两个疑似混杂因素并未改变结论。所有案例、原始输出和分析代码均可在以下网址获取：this https URL 。