以下是翻译后的中文内容，已按照要求保留原文结构、技术术语、代码块等，并输出为 Markdown 格式：
混合模型在哪些 token 上预测得更好？
注意力机制与循环机制，以及衡量差异
真实文本所揭示的
结论
📄 技术报告：https://arxiv.org/abs/2606.20936
模型在哪些类型的 token 上预测得好，哪些又预测得不好？这个问题对于混合模型（hybrid）来说尤其引人入胜。混合模型是一种语言模型架构，已经开始挑战标准的 Transformer，我们一直在通过 Olmo Hybrid 对其进行研究。混合模型在标准基准测试中可以与 Transformer 匹敌甚至超越，但这些总体数字并未揭示混合模型相对于 Transformer 具体有哪些优势。
为了揭示这些 token 级别的行为，我们最近进行了实验，将我们自己最强的 7B Transformer 模型 Olmo 3 与混合模型 Olmo Hybrid 进行直接对比。具体来说，我们以细粒度的方式比较了模型在不同类型 token（即作为 LLM 输入的信息单元）上的预测差异。由于 Olmo 3 和 Olmo Hybrid 在架构之外尽可能保持一致——在数据、tokenizer 和训练方案上高度匹配——它们预测结果的任何差异主要反映了架构本身。通过从 token 级别审视这些差异，我们能够深入了解混合模型相对于 Transformer 的具体优势。
我们的结果表明，混合模型在众多 token 上确实具有优势，但并非所有 token 都如此。Olmo Hybrid 在承载意义的 token（如名词、动词和形容词）上表现最强，也在那些只能通过理解上下文才能预测的 token（如代词所指代的人物）上表现突出。然而，混合模型的优势在那些仅仅重复输入中已有内容的 token（即从前面逐字复制的单词或短语）上几乎消失——因为答案就在那里，可以直接查找。这正是 Transformer 的强项所在。
注意力机制与循环机制，以及衡量差异
语言模型由一系列重复的层堆叠而成，每一层都利用周围的 token 来优化每个 token 的表示。Transformer 在每一层都使用注意力机制。模型可以同时直接利用所有之前的 token，权衡每个 token 与当前预测的相关性。这使得注意力机制擅长精确回忆某个特定的早期 token，即使该 token 出现在输入中很远的位置。但问题是，每个 token 都要与所有之前的 token 进行比较，因此随着输入增长，注意力机制的计算成本会急剧上升。此外，虽然注意力机制在回忆和聚合信息方面很强，但在表示随时间顺序演化的信息时却存在困难。
混合模型保留了少数注意力层，但将其他层替换为循环层。与注意力层不同，循环层从左到右读取 token，并携带一个固定大小的记忆，每处理一个新 token 就将其融入记忆，因此无论输入多长，处理每个 token 的成本都保持不变。这种记忆是压缩且有损的，因此循环层无法像注意力层那样精确回溯到某个早期的 token。但它非常适合在模型读取 token 时持续跟踪任何变化的信息，从而为注意力机制提供互补的优势。
为了隔离注意力层和循环层的优势与劣势区域，我们向 Olmo 3 和 Olmo Hybrid 输入了文本段落：文章、维基百科条目、书籍、科学论文，以及结构化文本如 Python、HTML 和 LaTeX。我们根据每个模型在给定样本中根据前面的 token 预测当前 token 的能力进行评分。两个模型都看到相同的前面 token，并为每个可能的下一 token 分配一个概率。我们记录了每个模型分配给实际出现的下一 token 的概率。然后，我们通过计算损失差距（loss gap），即两个模型之间的损失差异，逐 token 总结两个模型的差异。正差距表示混合模型预测实际下一 token 更好，负差距表示 Transformer 更好。
为了找出损失差距可能集中的位置，我们进行了多项分析。首先，我们将每个 token 分类，并计算每个类别内的平均损失差距。由于原始平均值可能受到其他因素（如类别的稀有性或 token 在文本样本中的重复频率）的影响，我们通过回归分析再次验证了每个模式，该回归在控制其他因素不变的情况下估计了类别本身的效应。
真实文本所揭示的
我们发现，Olmo Hybrid 在大多数类型的 token 上损失低于 Olmo 3，尽管不同 token 的差距幅度不同。在散文文本中，最明显的分界线是实词（content words）——承载意义的名词、动词和形容词——与虚词（function words）如“the”、“of”和“is”之间的区别。混合模型在实词上的预测优于 Transformer，损失差距约为 0.04，而在虚词上的差距接近 0.02。特别是，在副词和形容词等实词类别中，混合模型的优势尤为显著，尽管某些虚词类别（如存在词“there”）也显示出混合模型较大的优势。简而言之，混合模型的优势在表达句子核心意义的词语上最大，而在任何模型几乎都能根据语法猜出的语法词上最小。
相比之下，我们发现了一些特定上下文，其中混合模型相对于 Transformer 的优势消失了。第一个是闭合括号（而非开放括号），这一模式在语言、代码和标记语言的括号中都很稳健。为什么？已知注意力机制足以表示括号匹配，这表明仅靠注意力就足以预测闭合括号。第二个混合模型优势几乎消失的地方是当下一 token 仅仅是重复段落中已有的内容时。我们观察到