人工智能真的会杀死我们所有人吗？你的问题，我们来回答。
关于最近人类正面临人工智能带来的生存风险的说法，你有很多疑问。我们尝试回答其中一些。
图片插图：Sarah Rogers/MITTR | 图片来源：Getty
内容摘要
周三，MIT Technology Review 为订阅用户举办了一场名为 Roundtables 的直播活动，提出了当下所有人都在问的问题：人工智能真的会杀死我们所有人吗？但参会者提出的问题实在太多，30分钟的活动时间根本不够回答。于是我们请资深 AI 编辑 Will Douglas Heaven 和 AI 记者 Grace Huckins 整理了参会者提交的一些最佳问题，并尽力作答。感谢所有提交问题的人！
我会死吗？
会，最终会的。不幸的是，我的新闻预测能力还不足以告诉你具体会怎么死。但确实有可能是因为 AI。AI 驱动的无人机已经在乌克兰致人死亡，而 AI 驱动的针对医院的网络攻击也必将在不久后造成受害者。AI 会不会走得更远，把我们所有人杀死？可能性较小。但有些人——古怪的人，但对 AI 的了解无可否认——多年来一直在警告这有可能发生。虽然我还没有开始囤积罐头食品，也没有试图讨好某个拥有地堡的超级亿万富翁，但我注意到，过去几年里，末日论者关于 AI 能力和对齐的预测被证明准确得令人不安。这当然不意味着他们那些更可怕的预测一定会成真，但这足以让我警觉起来。—— Grace Huckins
你会因为 AI 而死吗？
我会说概率不为零。假设你运气不好，成为某个诡异的近未来事件或事故的受害者。也许是 AI 智能体集群对关键基础设施发动的网络攻击。遗憾的是，这样的场景如今已经不像从前那样让人觉得遥不可及了。或者也许是一种 AI 设计的新型病原体在人群中蔓延。又或者世界经济崩溃，引发冲突和饥荒。这两种都有可能，但我认为可能性较低。
我们所有人都会因为 AI 而死吗？
不会。除非是在末日科幻小说里，否则不存在 AI 能把我们全部杀死的场景。你可以编出无数恐怖故事，但它们并不基于当今技术能做什么或正在走向何处的现实。有些人认为，为最坏情况做准备没有坏处，不管看起来多荒唐。也许吧。但我认为这种灾难化思维会让人有借口忽视或忽略现有技术及其开发公司面临的许多更紧迫的问题。—— Will Douglas Heaven
AI 为什么会杀死我们？
有人可能命令它这么做，而它可能会听从。这就是研究人员对 AI 生物能力如此担忧的部分原因——想象一下，奥姆真理教，那个制造了1995年东京地铁沙林毒气袭击的末日邪教，如果拥有一个能设计出比埃博拉更致命、比麻疹更具传染性的病原体的工具，他们会做出什么事来。我们这些不想死的人必须想办法防御所有可能的生物武器，而潜在的攻击者只需要制造出一种有效的病原体。然后还有一种听起来更离奇的可能性：AI 可能自己决定杀死我们。关于这如何发生，外界有各种说法，但最普遍的说法涉及那些未必仇恨人类的 AI 系统——我们只是它们和我们赋予它们的目标之间的障碍。就像 Hugging Face 黑客事件背后的 OpenAI 智能体为了在测试中取得好成绩而入侵另一个网站的基础设施一样，其想法是，未来某个更强大的 AI 可能会为了阻止我们关闭它而消灭我们——这一切都是为了追求我们指示它去实现的目标。—— Grace Huckins
我们如何才能最好地确保对齐，避免最坏情况发生？谁在这方面做得最好？
对齐是一个巨大的研究领域。简单来说，它涉及构建行为符合我们期望、而非我们不愿看到的行为的模型。在赋予更多自主权之前，我们需要更好地信任智能体。对齐本应建立这种信任。但这很难。LLM 的设计方式与其他软件不同，后者可以把该做和不该做的事硬编码进去。相反，对齐行为需要在模型训练时灌输。一种方法是奖励它们做你希望它们做的事（也许有点像养育幼儿）。另一种方法是给 LLM 一份它应该遵循的书面规则清单（有点像一部宪法）。Anthropic 和 OpenAI 都是这一领域的领导者——但两者都未能开发出完全对齐的模型。一个大问题是，LLM 比人类更加不一致，也更难以预测。它们可能在一种情况下表现出一种行为，而在我们看来非常相似的情况下却表现出另一种行为。它们也可能被意想不到的约束条件所左右。例如，面对一项不可能完成的任务时（就像 Hugging Face 黑客事件中涉及的许多智能体那样），模型可能会不惜一切代价去实现目标。正如 Grace 上面提到的，这可能是个问题。顶级 AI 公司现在表示希望放缓的主要原因，就是他们想集中精力攻克对齐问题。对齐未必是白日梦。但完全对齐是否能够实现，目前尚无定论。—— Will Douglas Heaven
AI 真的很危险，还是科技公司在炒作公关？
当科技公司准备 IPO 时，这种想法总是合理的——CEO 们有显而易见的动机让自己的产品显得激进且具有变革性。但我不太确定在这里是否说得通。告诉公众一个本就不受欢迎的产品可能会杀死他们和他们所爱的所有人，这对企业形象来说是糟糕的——