代理置信度：用替代模型的日志概率审计黑盒 LLM 代理
摘要：一个已部署的 LLM 代理会发出工具调用、查询和代码，而这些可能在无声无息中出错——等到错误浮现时，动作已经执行了。前沿聊天 API 隐藏了模型的 token 概率；代理所声称的置信度在真正重要的错误上几乎与随机猜测无异；重采样也无济于事，因为前沿模型高度重复，在多次采样中会复现相同的调用。我们从并行运行的低成本开放权重替代模型中恢复了缺失的信号。它读取与代理相同的上下文、schema 和提议动作，然后通过一族互补的读出方式从其自身的日志概率对调用进行评分：教师强制和请求-PMI 权衡每个参数值的似然，判别式裁决对调用整体进行评判，工具选择竞争则将函数与其同类进行对比测试。一条原则决定了该信任哪种读出：生成式似然定位错误的参数值，而裁决则捕捉整体上错误的调用。当错误类型未知时，集成是低遗憾的默认选择。该读出无需训练，不需要访问代理的内部信息，且与工具调用一起只需一次预填充传递。在困难的编程任务上，它达到了 AUROC 0.825，而行动者声称的置信度接近随机水平（0.598），并且在另外三个行动者上，生成式读出比其高出 +0.07 到 +0.28。相较于自一致性，它在近确定性行动者上提升了 +0.14 到 +0.19，成本仅为 1/K。该信号驱动两种部署模式：一种实时门控，将最不可信的调用升级以供审查（在 50% 覆盖率下，已接受动作准确率提升 +0.05 到 +0.30）；以及置信度反馈，将工具结果连同评分一起返回，使代理调整其下一步——在实时执行基准上提升任务成功率（+0.119 和 +0.137，p <= 1e-4），并在步骤错误无声的场景中击败随机值对照组（+0.078，p = 0.003）。