Liquid AI 发布基于 38T 训练的 8B-A1B MoE 模型
LFM2.5-8B-A1B：一款更出色的设备端 Mixture-of-Experts 模型 | Liquid AI 产品
Liquid Foundation Models
全球最高效的模型
LEAP
LFM 定制与部署平台
Liquid Apollo
面向所有人的私有设备端 AI
定价与许可
解决方案
企业解决方案 利用市场上最高效的 AI 释放您的业务潜力。
初创企业解决方案 为您的初创企业创建合适的 LFM 提供专家支持。
行业
- 汽车
- 消费电子
- 电子商务
- 金融
- 医疗与生命科学
- 工业与机器人
- 博客
- 案例研究
- 演示
- 文档：文档、用例和操作指南
- 开发者社区
- 黑客马拉松
- 关于我们
- 合作伙伴
- 新闻室
- 职业
- 下载模型
- LEAP
- HuggingFace
- Amazon Bedrock
- LEAP
- Liquid Playground
- App Store 上的 Liquid Apollo
- Google Play 上的 Liquid Apollo
资源
公司
立即获取 Liquid
定制与部署模型
试用模型
申请演示
试用 Liquid 产品
我们的产品
- Liquid Foundation Models：全球最高效的模型
- LEAP：LFM 定制与部署平台
- Liquid Apollo：面向所有人的私有设备端 AI
定价
- 定价与许可
解决方案
- 行业
- 汽车
- 消费电子
- 电子商务
- 金融
- 医疗与生命科学
- 工业与机器人
- 效率与能力兼备
- 企业解决方案：利用市场上最高效的 AI 释放您的业务潜力。
- 初创企业解决方案：为您的初创企业创建合适的 LFM 提供专家支持。
研究资源
- 博客
- 案例研究
- 演示
- 文档：文档、用例和操作指南
- 开发者社区
- 黑客马拉松
公司
- 关于我们
- 合作伙伴
- 职业
- 新闻室
语言
- 英语
- 日语
模型：LFM2.5-8B-A1B：一款更出色的设备端 Mixture-of-Experts
发布时间： 2026 年 5 月 28 日
概述
今天，我们发布了 LFM2.5-8B-A1B，这是一款专为在消费级硬件上实现快速、可靠的工具调用而构建的边缘模型。它基于我们 2025 年 10 月发布的 LFM2-8B-A1B 进行了改进，扩展了 128K 的上下文窗口，扩大了预训练规模（从 12T 增加到 38T tokens），并采用了大规模强化学习。我们还将其词汇量翻倍，以提高对非拉丁语系语言的 tokenization 效率。最终得到的模型能够链式调用工具、完成任务，并且即使在入门级笔记本电脑上也能流畅运行。
基础模型（LFM2.5-8B-A1B-Base）和后训练模型（LFM2.5-8B-A1B）现已可在 Hugging Face 和我们的 Playground 上获取。请查阅我们的文档，了解如何在本地运行和微调它们。
*AA-Omniscience Index（越高越好）奖励正确答案并惩罚幻觉。得分范围从 -100 到 100。更多结果请参见 Artificial Analysis。
亮点
- 设备端个人助手。 旨在驱动现实应用，在所有设备上链式调用工具并遵循复杂指令。
- 压缩的性能。 在指令遵循和智能体任务上，与更大规模的密集模型和 MoE 模型相比具有竞争力。
- 无与伦比的吞吐量。 在 CPU 和 GPU 推理方面，是其尺寸级别中最快的，并首发支持 llama.cpp、MLX、vLLM 和 SGLang。
自 LFM2-8B-A1B 以来的变化
与 LFM2-8B-A1B 相比，这个新版本将上下文窗口从 32,768 个 tokens 扩展到 128,000 个 tokens。这使得模型能够处理更长的文档并进行更长时间的推理。其词汇量也从 65,536 扩展到 128,000，以便更高效地对非拉丁文字进行 tokenization。我们特别观察到在印地语、泰语、越南语、印度尼西亚语和阿拉伯语方面有显著的压缩增益。架构的其余部分与 LFM2-8B-A1B 相同，结合了 MoE、GQA 和门控短卷积块，如下图所示。
与其前身不同，LFM2.5-8B-A1B 是一个 纯推理模型，在给出最终答案之前会产生一个显式的思维链。我们采用这种策略是因为 MoE 模型通常在计算受限的环境中运行，其中较少的活跃参数使得每个推理 token 的成本较低。这在不牺牲速度的情况下提供了显著的性能提升。
得益于推理和扩展训练，这个新版本的表现显著提升：
| 基准测试 | LFM2-8B-A1B | LFM2.5-8B-A1B | Δ | | :--- | :--- | :--- | :--- | | AA-Omniscience Index | -78.42 | -24.70 | +53.62 | | AA-Omniscience Accuracy | 7.33 | 8.67 | +1.34 | | AA-Omniscience Non-Hallucination Rate | 7.46 | 63.47 | +56.01 | | IFEval | 79.44 | 91.84 | +12.40 | | IFBench | 26.00 | 56.47 | +30.47 | | Multi-IF | 58.54 | 79.93 | +21.39 | | MATH500 | 74.80 | 88.76 | +13.96 | | AIME25 | 20.00 | 42.53 | +22.53 | | BFCLv3 | 45.07 | 64.36 | +19.29 | | BFCLv4 | 25.52 | 48.50 | +22.98 | | Tau² Telecom | 13.60 | 88.07 | +74.47 | | Tau² Retail | 7.02 | 39.82 | +32.80 |
训练亮点
Tokenizer 扩展。 LFM2-8B-A1B 最初使用一个针对我们初始语言覆盖范围优化的 65K BPE tokenizer 进行训练。为了更好地支持 LFM2.5 中的非拉丁文字，我们通过原地扩展现有 tokenizer 将词汇量翻倍至 128K，而不是从头开始重新训练模型。我们在多语言语料库上，从原始合并继续 BPE 合并训练，这使大多数现有 token ID 保持为恒等映射，并确保每个新 token 可以确定性地分解为一系列原始子 token。我们将新的嵌入行初始化为其子 token 分解的平均值，并保持共享行不变。然后，我们通过一个简短的两阶段适应来恢复质量：仅嵌入训练，然后是全模型持续预训练。下表报告了 chars/token，大致表示每个 token 携带多少文本：数值越高越好，新的 tokenizer 在所有 16 种语言中效率更高。
| Tokenizer | 阿拉伯语 (ar) | 德语 (de) | 英语 (en) | 西班牙语 (es) | 法语 (fr) | 印地语 (hi) | 印度尼西亚语 (id) | 意大利语 (it) | 日语 (ja) | 韩语 (ko) | 波兰语 (pl) | 葡萄牙语 (pt) | 俄语 (ru) | 泰语 (th) | 越南语 (vi) | 中文 (zh) | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | 旧 tokenizer | 2.239 | 3.641 | 4.063 | 3.442 | 3.618 | 0.961 | 2.731 | 3.251 | 1.836 | 1.652 | 2.672 | 3.194 | 2.703 | 0.671 | 1.519 | 1.475 | | 新 tokenizer | 3.107 | 3.783 | 4.137 | 3.579 | 3.759 | 2.118 | 3.513 | 3.475 | 1.963 | 1.943 | 2.895 | 3.450 | 2.876 | 2.269 | 3.311 | 1.620 | | 提升 | +38.8% | +3.9% | +1.8% | +4.0% | +3.9% | +120.4% | +28.6% | +6.9% | +6.9% | +17.6% | +8.3% | +8.0% | +6.4% | +238.2% | +117.9% | +9.8% |
上下文扩展。 我们首先扩展了上下文