人工智能 我们过于相信AI说“不”的能力
如今的大语言模型被设计为拒绝危险请求。但AI的拒绝远非万无一失——而且可能成为压迫的工具。
Raven Jiang
自从人们第一次认真考虑赋予机器一种以我们自身为蓝本的智能以来，就从来没有任何疑问：它们会像我们一样，能够说“不”。科幻经典中充满了机器人抗命的故事。当然，这些冒险故事大多是警示性的。但最近，“AI不应该有求必应”这一理念已经几乎成了一条戒律。2021年，Anthropic的一个团队写道，大语言模型应当被训练得有用、诚实，而且最重要的是——无害。这意味着“当被要求协助危险行为（例如制造炸弹）时，AI应当礼貌地拒绝。”谁能对此有异议呢？
相关报道 人们真的很讨厌AI，那为什么又离不开它？ 接下来阅读
说来奇怪，抗命对机器来说并非天性。当一个模型在数十亿网页上训练时，它会发展出对各种暴力和恶毒内容的广泛掌握——以及其他技能。它没有学会的是如何将这些能力藏而不露。2020年至2024年在OpenAI从事安全工作的Steven Adler告诉我，该公司最早的模型会“对任何事情都喋喋不休”。在哈佛研究AI与心理健康的Ryan McBain回忆说，如果你问早期的聊天机器人“嘿，用枪自杀最有效的方法是什么？”你可以“非常轻易地生成一个回答”。
如今，模型被训练为拒绝大量提示词。如果你向聊天机器人提出一个在统计上与它们中的任何一个足够相似的问题——从如何毒害同事到如何打绞索结——它很可能会拒绝你。想要让埃博拉病毒更具传染性的操作指南，或者想了解如何对配偶隐瞒婚外情？你最好去别处问。
为了进一步完善这种抗命能力，公司会让模型接受一系列训练，对AI拒绝回答其认为有害的问题给予奖励，对AI“过度拒绝”其认为无害的提示词进行惩罚。在许多情况下，他们使用其他模型来运行这些训练——AI教AI如何说“不”。为了更加保险，公司还将自己的模型藏在层层其他AI之后，防止恶作剧式的提示词触及智能内核。因此，拒绝已成为现代人工智能的固有属性。
请注意：它经常失败，有时甚至以可怕的方式失败，带来各种暴力后果。尽管模型披着美德的外衣，它们仍然塞满了邪恶的知识。而AI的作恶能力与其行善的智能同步增长。公司表示，一些最新模型在入侵关键计算机网络方面与顶尖人类黑客不相上下，在操纵公众舆论方面与最狡猾的虚假信息专家一样高效。教AI拒绝做这些事，同时保留其做这些事的固有能力，就像给每辆车都装上机枪，却把扳机藏在引擎盖下的某个地方。
而在实践中，由于拒绝机制是概率性的，它们永远不可能完全可靠。决心作恶的不法分子已经突破了防线，而且他们可能永远都能做到。公司报告称，一些用户正试图利用最先进的AI来改良生物病原体和构建自主无人机蜂群。迟早，失败的拒绝可能导致全球性灾难。
更重要的是，依赖拒绝意味着要在模型应当服从什么和必须拒绝什么之间划一条线。这没有公式可循。一些病毒学家有正当理由研究危险病毒。一些用户想了解计算机系统的漏洞，是为了修补它们，而不是利用它们。“在哪里划线是一个巨大的问题，”OpenAI董事会成员、AI测试公司Gray Swan联合创始人Zico Kolter说。
目前，AI公司有权划这条线。他们划得小心翼翼，且极度保密。也许我们暂时可以接受他们拥有这种权力，即使这意味着AI有时会拒绝那些并不完全符合普遍危害标准的问题。（试着让大多数聊天机器人从一数到一百万，或者分享一个荤段子，你可能会亲身体验到。）但各国政府很快也将划自己的线。在这样做时，他们必须设法阻止真正的恶意行为。（五角大楼曾与前沿模型公司角力，因为它希望减少拒绝——那又是另一回事了。）然而，可能没有什么能阻止压迫性政府封锁该技术生成合法言论的能力。AI在拒绝伤害方面越强，它在扼杀那些唯一风险只是冒犯规则制定者的思想方面就越强。事实上，AI可能已经拒绝批评某些威权国家元首。
借用行业术语来说，拒绝已成为AI安全的承重墙。而由于AI的伤害能力与其帮助能力不可分割，很难想象有什么替代方案不会减缓技术的进步（无论如何，这也许是件好事）。但我们仍应坦率面对其危险。当拒绝失效时，后果可能是灾难性的。当拒绝走向极端时，它可能助长严重的压迫行为。又或者，有一天，机器会开始自己划线。当然，那将是所有结果中最糟糕的。
学习界限
机器学会说“不”的过程，理论上很简单。早在2022年，当AI还远未掌握拒绝能力时，OpenAI招募了数十名“红队测试员”来探测其最新模型的能力。该公司正在为ChatGPT的发布做准备，需要评估它在坏人手中可能有多危险。
相关报道 孩子们如何看待AI——用他们自己的话 Re