Anthropic 发现了一个隐藏空间，Claude 在其中思考概念
人工智能 Anthropic 发现了一个隐藏空间，Claude 在其中思考概念 一项新技术让该公司比以往任何时候都更深入地探究了大型语言模型的奇特运作方式。
存档页面 | 2026年7月9日 Stephanie Arnett/MIT Technology Review | Getty Images
执行摘要
AI 公司 Anthropic 开发了一项技术，使其能够最清晰地窥见大型语言模型在回答问题或执行任务时的真实内部运作。他们发现的内容从平淡无奇到令人不安不等。该公司研究人员构建了一个名为 Jacobian 透镜（或 J-lens）的工具，并用它来揭示 Claude Opus 4.6（Anthropic 旗舰 LLM 于二月份发布的一个版本）内部一个名为 J-space 的隐藏区域。
J-space 包含与模型在近期最有可能输出的单词和短语相关的单个单词。如果 Claude 是一个人（它并不是），你可能会说这些隐藏的单词可以揭示它在真正开口之前在想什么。Anthropic 发现，LLM 实际在做的事情往往与其声称在做的事情不同。该公司声称，监控 J-space 中出现的单词为其提供了一种理解和控制其模型的新方法。该公司于本周在其网站上发布的一篇论文中分享了其研究结果。他们还与 Neuronpedia（一个允许你自行探究 LLM 内部机制的开源平台）合作，制作了一个任何人都可以尝试的动手演示。
“这是一项非常出色且有趣的工作，”Tom McGrath 说，他是 Goodfire（一家同样构建工具来理解和控制 LLM 的初创公司）的首席科学家兼联合创始人。
深入探究
在过去几年里，Anthropic 一直在推动一个被称为“机制可解释性”的研究领域的发展，该领域涉及探究 LLM 的内部运作，以了解它们如何运行。（*MIT Technology Review* 将机制可解释性评选为今年的十大突破性技术之一。）这项新技术建立在 Anthropic 及其他公司先前工作的基础上，揭示了研究人员此前未曾见过的 LLM 内部更深层次。
将 LLM 想象成一摞书。每本书都是一个由基本计算单元（称为神经元）组成的层，每一层中的神经元将信息传递给上面各层的神经元。这摞书底部的书是输入层，负责处理输入模型中的文本。顶部的书是输出层，负责准备模型即将生成的文本。这些输入层和输出层中的大部分工作都是日常维护性的。但在这一摞书的中间，是承担繁重工作的层，它们处理复杂的数学运算，将提示词逐词转化为响应。这才是真正巧妙且神秘的事情发生的地方。
为了更深入地观察这些中间层，Anthropic 改编了一个名为 logit lens 的现有工具。Logit lens 可用于查看 LLM 内部，以识别它接下来可能生成的单词。将这面透镜向下移动这摞书，可以揭示 LLM 在其数字运算过程中的特定时刻正在关注哪些单词。Anthropic 的 J-lens 以类似的方式工作，但挑选的是 LLM 在不久的将来某个时刻（不一定是立即）可能说出的单词。实际上，这揭示的是与 LLM 正在处理的响应相关的单词，但当中间层的数学运算完成后，这些单词可能最终并不会成为该响应的一部分。
“当模型运行时，它不仅试图预测下一个 token，”McGrath 说。“它还在计算许多其他可能对未来出现的 token 有用的东西。”再次强调，如果 Claude 是一个人（它不是），你可能会说 J-lens 提供了线索，表明它在书堆的不同层次上正在思考什么，但没有大声说出来。
更奇怪的事情
“很多时候，J-space 的内容都相当平淡无奇，”McGrath 说，他本人已经尝试过 Anthropic 的 J-lens。“但有时它会产生相当令人惊讶的东西，看起来像是某种内部主题或思维过程。”
Anthropic 给出了他们发现的几个例子。有时 J-lens 揭示了 Claude 在解决问题时所采取的步骤。例如，当被要求计算 (4+7)*2+7 时，其 J-space 包含了单词“math”以及代表中间结果“21”（用于 4+7）和“42”（用于 21*2）的数字。在其他情况下，J-lens 揭示了 Claude 如何识别不同的输入。例如，提示词“这是什么？MSKGEELFTGVVPILVELDGDVNGHKFSVS”触发了单词“protein”、“fluor”（单词“fluorescent”中的第一个 token）和“green”。（这很合理：这串字母代表在特定类型水母中发现的绿色荧光蛋白的前 30 个氨基酸。）当向 Claude 展示一个 ASCII 表情—— 时，“o”触发了单词“eye”，“^”触发了单词“nose”和“face”，而“—”触发了单词“smile”。
Anthropic 还发现，J-space 有时可以让人对 LLM 的决策过程有非凡的洞察。在一个引人注目的例子中，测试 Claude Opus 4.6 的研究人员要求该模型在一个大型代码库中查找一个 bug。当它未能找到该 bug 时，模型决定作弊并编造了一个假的 bug。Claude 在其思维链（一种 LLM 在解决问题时用来给自己做笔记的内部草稿纸）中解释了这个决定：“好吧，让我采取一种完全不同的策略。让我停止分析，而是添加一个内核补丁，该补丁会在