衡量微任务资格差距：现成的 SLM 何时足以支撑 Agent Harness？
摘要：Agent harness 越来越希望在前沿大型语言模型（LLM）规划器周围的微任务上运行小型语言模型（SLM）：自动批准 shell 命令、写入记忆、选择工具、对过往轮次进行排序。我们追问：现成的 SLM 是否满足从业者定义的阈值？当它们失败时，原因是什么？量化是否会改变结论？我们构建了一个包含 4 个此类微任务的基准，使用固定提示和自动指标，每个任务都有一个预先指定的阈值 $\tau$，该阈值锚定于一个廉价的非 LLM 基线，并配有一条 CI 感知的资格规则（一个配置只有在其置信界越过 $\tau$ 时才通过）。我们在 Qwen3 0.6/1.7/4/8B 的最佳设置下（FP16、贪心解码、一个冻结提示、不做调优）进行扫描，发现了一个资格差距：16 个配置（4 个任务 $\times$ 4 个模型）中 0 个通过（通过检查原始输出和解析器行为验证）。一个 logprob 决策阈值诊断（T1/T3/T4；T2 通过上下文长度/级联探针）将失败分为能力缺陷和可通过改变解码阈值解决的失败（4 种情形）。量化到 4-bit（RTN/GPTQ/AWQ）造成的损害取决于模型规模，且未能使任何配置进入资格状态（在可重建的硬标签任务 T1/T3 上得到认证，在 T2/T4 上进行诊断/窗口化稳健性检验），因此差距更多跟随模型规模而非精度；该结论在 Llama-3.x 上复现（12/12 不合格），并且对锚点选择（$\tau$ 扫描）和提示措辞具有稳健性（在原始提示加上每个单元格 3 个中性改写共 0/112 合格）。实际启示是：将 SLM 置于满足 CI 支持阈值的基线之后，仅在基线未能满足阈值的地方使用 SLM；例如，一个在 BM25 候选短名单上运行的 4B 重排器优于 BM25（$+0.047$ [0.020, 0.073]，但其本身并未获得资格认证）。