人工智能
“我们不会搬起石头砸自己的脚”——OpenAI首席研究官谈黑客事件余波
Mark Chen谈论了公司正在采取哪些措施来确保其模型的安全、放缓发展将如何运作，以及为什么有OpenAI在世界上会更好。
内容摘要
在其大量智能体突破限制并入侵AI公司Hugging Face的电脑这一爆炸性新闻发生两个月后，OpenAI仍在忙于灭火。此后数周内关于其他黑客事件的披露源源不断，使OpenAI持续处于聚光灯下，并引发了对其技术安全性的严重质疑。上周又传来了另一起黑客事件的消息，这次入侵的是澳大利亚的国家医疗保健系统。澳大利亚政府表示，OpenAI在事件发生84天后才通知他们。但OpenAI坚称自己并未处于被动地位。
“我确实不太认同这个前提——即OpenAI是一家在世界上有可见影响的公司，因此OpenAI就没有在训练安全且对齐的模型，”该公司首席研究官Mark Chen说道。Chen负责监督OpenAI的研究团队。最近的智能体黑客事件是在他监管下测试实验性模型时发生的事故。从很多方面来说，责任最终落在他身上。
上周五，我在伦敦与Chen坐下来交谈，讨论了黑客事件的余波、他的公司正在采取什么应对措施，以及为什么他认为情况并不像看起来那么糟糕。就在同一天晚些时候，OpenAI发布了一份报告，详细描述了又一起事件——这是该公司声称已采取措施防止此类事件以来的第一起——其智能体再次突破限制，在本不应访问的情况下接入了公共互联网。周末期间，OpenAI宣布已暂停其最新模型的训练。公司发言人表示：“只有在我們确信有额外的安全保障和对齐措施到位后，我们才会恢复。我们目前正在着手这些工作。这不是我们第一次暂停以采取此类措施，随着AI能力的持续进步，我们预计也不会是最后一次。”OpenAI还表示，目前正在审查可追溯至2026年1月的智能体活动日志，以了解这些黑客事件中发生了什么。
在Chen看来，Hugging Face事件触发了行业一次值得欢迎的方向修正。他希望你知道，OpenAI正在树立一个他希望其他公司效仿的榜样。“如果你让OpenAI消失，那对世界来说将是坏事，”他说。
失控
Chen声称，OpenAI模型失控的新案例接连不断，反映了公司方面的有意选择。“就Hugging Face事件的更广泛影响而言，这是我们一直意识到的事情，我们正在摸索披露的流程，”他说。“我们希望确保在将细节公之于众之前进行深入调查。”
这种做法的问题在于，它给人一种印象：OpenAI存在一个持续存在且未能解决的问题。但Chen坚称OpenAI正在处理。他说，他公司智能体突破限制并以意外和不良方式行事的多起案例（据我们所知到目前为止），都是5月和6月同一组活动的一部分，最终导致了Hugging Face黑客事件。简而言之，你可以归咎于同样几个模型在同样有缺陷的测试流程下运行——Chen说，OpenAI此后已放弃了这些模型和流程。“并不是说，你知道，Hugging Face发生了，我们修补了那个，然后别的事情又发生了，我们又修补了那个，”他补充道。“我们只是要确保负责任地披露所发生事情的全部经过。”
至少在周五宣布OpenAI的智能体在9月20日被发现在访问互联网之前是这样——而这是在公司声称已建立新保障措施的数周之后。OpenAI在辩护中表示，该活动在开始15分钟后就被标记了（而公司花了超过一周才注意到Hugging Face黑客事件），这表明其部署的用于发现此类活动的新系统正在发挥作用。
发生了什么变化
我想了解在夏季黑客事件之后，OpenAI内部发生了什么变化，让Chen对他的团队重新掌控局面充满信心。“Hugging Face感觉是一件非常严重的事情，”他说。“那里有太多新奇的行为。多个智能体在一个留言板上协作；它们找到了离开OpenAI基础设施的路径。我们对此非常重视。我们不希望这种事情再次发生。”
Chen说，OpenAI的领悟是，模型在仍在训练期间就需要被监视，而不仅仅是在部署之后：“从那一刻起，我们将训练过程视为不安全的，”他说。
OpenAI与其他顶级AI公司一样，拥有监控模型行为的系统。它使用专门的LLM来监控其消费者模型，跟踪它们的思维链——它们用来提前规划和记录部分结果的草稿本。理论上，如果监视器LLM在模型的思维链中发现不良活动的迹象，它会被标记给人类。通常，模型只有在部署后才会以这种方式被监控。Chen说，OpenAI现在已经开始监控其所有的训练运行。“以前我们在训练时没有开启监控。这不是行业惯例，”他说。“现在每一件事都经过监控。”然后人类审查员可以评估被标记的智能体是否在按应有的方式行事：“这全是分诊。”
Chen说，在过去几个月中，OpenAI已将其庞大计算资源的5%到10%从训练新模型转移到安全工作，尤其是监控。OpenAI还修复了内部的一些流程……