以下是根据您的要求翻译的中文版本,保留了原文结构、标题层级、列表、段落、代码块、技术术语和专有名词,并采用 Markdown 格式输出。
AI 2040: Plan A
AI 2040 Plan A ≡ PDF 附录 Plan A 基础 常见问题 常见问题 Plan A 如何解决我们最大的5个问题 Plan A 如何解决我们最大的5个问题 Plan A 政策 秘密 AI 项目 秘密 AI 项目 核查计划 核查计划 透明度计划 透明度计划 能力扩展策略 能力扩展策略 Plan A 中的安全性 Plan A 中的安全性 Plan A 政策分析 Plan A 假设 Plan A 假设 比较可能的计划 比较可能的计划 拒绝协议 拒绝协议 起飞附录 起飞附录 经济学 Plan A 的经济学 Plan A 的经济学 Plan A 中的算力 Plan A 中的算力 经济增长探索器 经济增长探索器 推测性分析 空间治理计划 空间治理计划 用于认识论的 AI 用于认识论的 AI 对齐路线图 对齐路线图 关于 Thomas Larsen , Romeo Dean , Brendan Halstead , Eli Lifland , Ryan Greenblatt , Daniel Kokotajlo
AI 公司正竞相构建在各方面都比人类更聪明的 AI。在《AI 2027》中,我们预测这将导致要么灭绝,要么权力不可逆转地集中。¹ Plan A 是我们对应该发生什么的积极愿景。在这一情景中,人类将超级智能的发展推迟到 2040 年,使所有 AI 研究公开化,允许全球数十家公司赶上前沿,并有意识地进入一种相互确保的算力摧毁(mutually assured compute destruction)体制。
什么是 Plan A?
我们为什么写这个?
为什么是一个情景?
AI 时间线?
Plan A 是我们对人类如何避免 AI 驱动的存在性灾难并走向繁荣未来的积极愿景。它基于与美国主要前沿 AI 公司专家的对话、在 OpenAI 的直接经验、桌面推演以及与政策制定者、国家安全专家和 AI 政策领导者的讨论。
我们建议达成一项国际协议,以避免危险的超级智能竞赛。该协议涉及 AI 研发的完全研究透明度,使世界各国能够了解正在发生的事情并执行护栏(guardrails)。结果是,多个国家的多家公司共同缓慢而安全地向超级智能扩展,而不是在秘密中相互竞争。
Plan A 主要是一项建议,而非预测。这个情景并不是我们对未来实际样子的最佳猜测。相反,它是传达和压力测试我们政策建议的载体。虽然 Plan A 的实施是一项建议,并非我们实际预期会发生的事情,但所描绘的后续效果是预测。²
在这个 AI 2040 情景中,Plan A 被成功实施,尽管不完美且仅在最后一刻才实现。我们将 Plan A 与另外四个计划(B、C、D 和 S)进行对比,这些计划对应于美国应对(或不应对)超级智能挑战的主要方式。³
AI 公司很可能在未来 1 到 10 年内成功实现其既定目标,即构建比人类更聪明的 AI 系统。该行业已经说服自己,控制超级智能 AI 可以在过程中摸索出来,因此没有任何足够完善的计划。我们认为这种情况非常糟糕,很容易导致我们所有人丧命。⁴
我们不期望任何“赢得竞赛”的一方拥有很大的领先优势,也不期望他们单方面放慢速度以降低存在性风险。⁵ 如果这场竞赛继续下去,⁶ 我们不期望人类在其 AI 变得超级智能时保持有效控制。⁷ 此外,即使 AI 公司以某种方式对齐了它们的 AI,结果也将是前所未有的权力集中——也就是说,结果将是一种情况,其中一小群人,甚至可能只有一个个体,在几个月内实际上控制着世界上唯一的超级智能大军,并且这些超级智能将向该控制者提供各种行动选项,其中一些选项实际上等同于接管世界。⁸
据我们所能猜测,OpenAI、Anthropic、xAI 和 Google DeepMind 的 CEO 们理解这一点,但仍然在推进,也许是因为他们认为自己是较小的恶,并且会负责任地使用他们巨大的权力,不像习近平或竞争对手的 CEO。⁹ 虽然我们同意选择较小的恶通常是正确的,但我们认为不应倡导一种有如此可怕的高概率导致人类灭绝或全球独裁的策略。相反,我们希望倡导一些真正好的东西。如果有足够多的人也这样做,它就有可能实现。因此,我们写了一个情景,勾勒出那个可能的世界。
“计划毫无价值,但规划就是一切。”——德怀特·D·艾森豪威尔
我们认为大多数 AI 政策提案在情景审视(scenario scrutiny)下都会崩溃——也就是说,如果你试图写下一个详细且可信的情景,其中该提案成功,你会发现很难做到,并且你会意识到该计划成功的可能性比看起来要小,或者其副作用比其支持者承认的更令人不愉快。也许这就是为什么情景审视在 AI 政策中如此罕见。每个人都想说自己偏好的政策会有很好的结果,而竞争对手的政策会有可怕的结果。将情景审视应用于自己偏好的政策可能会暴露出令人不安的问题;同时,将情景审视应用于竞争对手的政策则工作量很大,且修辞收益甚微。¹⁰
我们认为,如果更多的 AI 政策提案接受情景审视,讨论将会得到改善。因此,我们从自己的提案开始,尽管这会使我们面临批评。我们希望批评者将我们与现有的、用于引导 AI 转型的最佳计划(如果他们能找到的话)进行比较,而不是与某种模糊但愉快的幻想进行比较,在这种幻想中,没有人需要做出任何艰难的选择,但一切可能都会好起来。
在一个接近……
注:原文在结尾处“在一个接近……”处中断,翻译保留此状态。