← 返回日报
🌐 机器翻译 · DeepSeek · ArXiv

Attack Selection in Agentic AI Control Evaluations Meaningfully Decreases Safety


摘要: 一个能够策略性选择攻击时机的攻击者,远比无差别攻击者更难被捕获。AI 控制(AI control)是一种安全框架,用于在较弱但可信的监控者(monitor)监督下,以及有限的人工审计预算内,部署能力强大但不可信的 AI 智能体(agent)。控制评估(control evaluations)通过让红队攻击策略与蓝队监控者对抗来对这些协议进行压力测试,但当前的评估通常假设攻击者不会策略性地选择攻击时机。我们研究了这种能力——攻击选择(attack selection)——在智能体场景中的表现,将攻击决策分解为启动策略(start policy,决定攻击者何时应发起攻击)和停止策略(stop policy,决定攻击者何时应中止正在进行的攻击)。在两个智能体场景(BashArena 和 LinuxArena)中,这两种策略都在不改变底层攻击能力的情况下,显著降低了实测的经验安全性。在 1% 的审计预算下,我们的启动策略使 BashArena 和 LinuxArena 的安全性均降低了 20 个百分点,而停止策略使 BashArena 的安全性降低了 20 个百分点,LinuxArena 的安全性降低了 28 个百分点。这些降低应被解释为攻击选择效应的上界。因此,现有的控制评估可能对选择性攻击者给出过于乐观的安全性估计。我们建议未来的评估、系统卡(system cards)和安全案例(safety cases)应引入攻击选择,以产生更现实的安全性估计。

📖 阅读原文 →