JustVugg colibri

JustVugg colibri

网站 · Discord · 英语 · 简体中文 · 繁體中文 · Italiano

微型引擎，巨型模型。在消费级和异构硬件上运行前沿 MoE 模型——744B 到 2.8T 参数——纯 C 实现，零引擎依赖，将存储、RAM 和 VRAM 视为单一推理层级（AI 内存多层化）。目前已有九个系列可运行：GLM-5.2/5.3（744B）、GLM-5.3-Flash（321B，带视觉）、Inkling（975B）、Kimi K3（2.8T）、DeepSeek V4 Flash（284B）、DeepSeek V4.1 Flash（552B，带视觉）、Qwen3.8-Flash-Next（125B + 51B n-gram）、Qwen3.6（35B-A3B）和 OLMoE（7B）——每个仅一个 C 文件，共用同一套 coli chat / coli serve / coli web 前端。完整列表 ↓

Colibrì 是一个你今天就能运行的推理引擎，也是一个开放研究平台。它的首要目标是在整个软硬件边界上追求推理侧性能——模型格式、内存层级、存储 I/O、放置策略、调度、内核、推测执行以及 CPU/GPU 重叠——从而让大模型对稀缺硬件的依赖更少、运行成本更低。Colibrì 将 VRAM、RAM 和存储视为单一多层层级，并且它刻意作为一个测试激进系统理念的场所——因此没有速度上的 SLA，但对语义有硬性保证：实验必须通过可复现的端到端测量来证明自身价值，默认策略绝不静默改变模型精度或路由器语义。快速内存不足可能降低速度；但绝不能悄悄重新定义模型。

$ ./coli chat
🐦 colibri v1.11.0 — GLM-5.2 · 744B MoE · int4 · streaming
CPU ✓ ready in 32s · resident 9.9 GB
› ciao!
◆ Ciao! 😊 Come posso aiutarti oggi?

亲眼见证它运行

Web 仪表盘（./coli web）：744B 模型达到 4 tok/s，TTFT 1.6 秒，磁盘 0——在 6× RTX 5090 上实现完整专家驻留，带有实时 token 指标、每轮时间分解、VRAM/RAM/磁盘层级条以及角落的实时迷你大脑。

Brain 页面：全部 19,456 个专家呈现为一个活体皮层——颜色代表存储层级，亮度代表路由热度，每一轮中被路由的专家会闪白光。悬停可显示该专家测得的话题亲和度。

Atlas 页面：测得的专家图谱呈现为 3D 星系——13,260 个已表征专家，1,041 个复制专家按话题聚类（诗歌、法律、中文、SQL……）。位置是测得的路由亲和度，而非学习到的嵌入。拖动可旋转。

研究使命

借助 Colibrì，私有前沿模型的访问不再受限于超大规模级硬件的可用性。通过其多层化特性，Colibrì 消除了专有硬件依赖，积极优化功能性推理引擎流水线。我们的运营使命包括：改变权重的表示和移动方式，决定什么驻留在 VRAM、RAM 或存储中，重叠异构计算，减少启动和同步开销，利用稀疏性和复用，以及测试新的解码算法。没有任何东西仅因为它是惯例就受到保护；也没有任何东西仅因为微基准测试看起来快就被采纳。决定性结果是真实机器上的端到端推理，同时衡量正确性和质量以及吞吐量、延迟、内存和成本。

实际结果是可及性：在你已经拥有的硬件上运行 744B 参数模型，实时观察每个专家的触发，并修改实现它的代码。不是在 API 背后租用智能——而是拥有它：探查它、测量它、改进它。引擎被刻意做得足够小，以至于下一个有用的优化可以来自任何愿意去测量它的人。

核心技术与实测发现

• 一个层级，不受层级容量限制。 VRAM、RAM 和 NVMe 是同一组权重的放置层级；有限的快速内存改变的是速度，而非模型语义。
• 权重的 JIT。 实测路由热度驱动逐层 LRU、学习到的固定热存储以及提前一层预取，而非加载每个专家。它在可重复工作负载上胜出；历史可能过拟合，预取在某些主机上可能失效，因此两者都是可测量的策略而非承诺。
• I/O 是引擎的一部分。 批量专家并集、重叠读取与计算、O_DIRECT 以及加权双 SSD 条带化，针对流式路径发起攻击，而非假装存储延迟为零。O_DIRECT 依赖于驱动器，双 SSD 仍需要更广泛的端到端社区 A/B 测试。
• 异构执行。 CPU、CUDA、Metal、NUMA 内存以及部分或完整专家驻留共享同一运行时，可根据机器组合使用；有利的组合取决于计算、带宽、驻留和工作负载。
• 压缩状态而不改变模型。 Token 精确的前向验证、缩小 57× 的 MLA KV 状态、持久化热对话以及忠实的 DSA，使优化与正确性绑定。这些是内存、延迟和正确性属性——而非笼统的吞吐量声明。
• 必须证明自身价值的推测执行。 原生 MTP 和语法强制草稿经过端到端测量，当接受率无法回报验证成本时可被禁用。

开放假设、实验以及如何提供帮助

Colibrì 将优化视为假设，直到受控的端到端 A/B 测试证明并非如此。以下是当前的主要问题：

| 假设 | 目前的证据 | 仍需的实验 | | --- | --- | --- | | 路由历史可以比普通 LRU 更好地放置专家 | 学习到的固定热存储改善了重复工作负载，但可能过拟合某个提示 | 在编码、聊天、多语言和长上下文工作负载上进行留出的跨会话 A/B 测试 | | 多个 SSD 可以将独立带宽转化为解码速度 | 加权镜像/分割路由已实现并验证；带宽模型合理 | 冷缓存下单盘 vs 双盘 | | GLM-5.2 可在真实独立控制器上运行 | | | | 硬件感知规划器可以自动接近每台机器的最佳配置 | 目前已检测 RAM/VRAM 预算和多种后端 | 将生成的方案与在笔记本、工作站、NUMA 主机和多 GPU 系统上的受控参数扫描进行比较 | | 无损或质量有界的表示可以减少权重 | | |