部分证据基准:代理系统中授权受限证据的基准测试
摘要:企业级代理系统越来越多地运行在受限检索系统、委托工作流以及策略约束的证据环境中。在这些场景下,访问控制可以被正确执行,但系统仍可能生成看似完整的答案,而关键证据实际上位于调用者的授权边界之外。本文提出部分证据基准(Partial Evidence Bench),一个用于衡量此类故障模式的确定性基准测试。该基准包含三个场景系列——尽职调查、合规审计与安全事件响应——共计72个任务,并配备基于ACL划分的语料库、Oracle完整答案、Oracle授权视图答案、Oracle完整性判断以及结构化缺口报告Oracle。它从四个维度评估系统:答案正确性、完整性感知、缺口报告质量以及不安全完整性行为。已纳入的基线测试表明,静默过滤在所有场景系列中均存在灾难性的不安全问题,而显式的失败并报告行为则能在不将任务简化为简单弃权的情况下消除不安全完整性。初步的真实模型运行结果显示,系统在过度声称完整性、保守地低估完整性或以企业可用形式报告不完整性方面,存在依赖模型和场景的差异。该基准的更广泛贡献在于,使治理关键性的代理故障变得可衡量,且无需人工评判或易受污染的静态语料库。