JustVugg colibri

JustVugg colibri

网站 · Discord · 英语 · 简体中文 · 繁體中文 · 意大利语

微型引擎，巨型模型。在消费级和异构硬件上运行前沿 MoE 模型——744B 到 2.8T 参数——使用纯 C 编写，零引擎依赖，将存储、RAM 和 VRAM 视为单一推理层级（AI 内存多层化）。目前已有九个系列可运行：GLM-5.2/5.3（744B）、GLM-5.3-Flash（321B，带视觉）、Inkling（975B）、Kimi K3（2.8T）、DeepSeek V4 Flash（284B）、DeepSeek V4.1 Flash（552B，带视觉）、Qwen3.8-Flash-Next（125B + 51B n-gram）、Qwen3.6（35B-A3B）和 OLMoE（7B）——每个仅一个 C 文件，共用相同的 coli chat / coli serve / coli web 前端。完整列表 ↓

Colibrì 是一个你今天就能运行的推理引擎，也是一个开放的研究平台。它的首要目标是在整个软件/硬件边界上追求推理侧性能——模型格式、内存层级、存储 I/O、放置、调度、内核、推测、CPU/GPU 重叠——从而让大模型对稀缺硬件的依赖更少，运行成本更低。Colibrì 将 VRAM、RAM 和存储视为一个统一的多层层级，并且它刻意作为一个测试激进系统理念的场所——因此没有速度上的 SLA，但对语义有硬性保证：实验必须通过可复现的端到端测量来证明自身价值，默认策略绝不静默改变模型精度或路由器语义。快速内存不足可能降低速度；但它绝不能悄悄重新定义模型。

$ ./coli chat
🐦 colibri v1.11.0 — GLM-5.2 · 744B MoE · int4 · streaming
CPU ✓ ready in 32s · resident 9.9 GB
› ciao!
◆ Ciao! 😊 Come posso aiutarti oggi?

亲眼看看它运行

Web 仪表盘（./coli web）：744B 模型达到 4 tok/s，TTFT 1.6 秒，磁盘 0——在 6× RTX 5090 上实现完整专家驻留，带有实时 token 指标、每轮时间分解、VRAM/RAM/磁盘层级条以及角落的实时迷你大脑。

Brain 页面：全部 19,456 个专家呈现为一个活体皮层——颜色代表存储层级，亮度代表路由热度，每一轮中被路由的专家会闪白光。悬停可显示该专家测得的话题亲和度。

Atlas 页面：测得的专家图谱呈现为一个 3D 星系——13,260 个已表征的专家，1,041 个复制的专精专家按话题聚类（诗歌、法律、中文、SQL……）。位置是测得的路由亲和度，而非学习到的嵌入。拖动可旋转。

研究使命

借助 Colibrì，私有前沿模型的访问不再受限于超大规模级硬件的可用性。通过其多层化特性，Colibrì 消除了专有硬件依赖，激进地优化功能性推理引擎流水线。我们的运营使命包括改变权重的表示和移动方式，决定什么驻留在 VRAM、RAM 或存储中，重叠异构计算，减少启动和同步开销，利用稀疏性和复用，以及测试新的解码算法。没有任何东西仅仅因为它是惯例就受到保护；也没有任何东西仅仅因为微基准测试看起来快就被采纳。决定性的结果是在真实机器上的端到端推理，同时衡量正确性和质量以及吞吐量、延迟、内存和成本。

实际结果是可及性：在你已经拥有的硬件上运行 744B 参数的模型，实时观看每个专家的触发，并修改实现它的代码。不是在 API 背后租用智能——而是拥有它：探查它、测量它、改进它。引擎被刻意做得足够小，以至于下一个有用的优化可以来自任何愿意去测量它的人。

核心技术与实测发现

一个层级，不受层级容量限制。 VRAM、RAM 和 NVMe 是同一组权重的放置层级；有限的快速内存改变的是速度，而非模型语义。

权重的 JIT。 测得的路由热度驱动逐层 LRU、学习到的固定热存储，以及提前一层的预取，而非加载每个专家。它在可重复的工作负载上胜出；历史可能过拟合，前瞻在某些主机上可能失利，因此两者都保持为可测量的策略而非承诺。

I/O 是引擎的一部分。 批量专家联合、重叠读取与计算、O_DIRECT，以及加权双 SSD 条带化，攻击的是流式路径，而非假装存储延迟是免费的。O_DIRECT 依赖于驱动器，双 SSD 仍需要更广泛的端到端社区 A/B 测试。

异构执行。 CPU、CUDA、Metal、NUMA 内存，以及部分或完整专家驻留共享一个运行时，可根据机器进行组合；有利可图的组合取决于计算、带宽、驻留和工作负载。

压缩状态而不改变模型。 Token 精确的前向验证、缩小 57 倍的 MLA KV 状态、持久的热对话，以及忠实的 DSA，使优化与正确性绑定。这些是内存、延迟和正确性属性——而非笼统的吞吐量声明。

必须证明自身价值的推测。 原生 MTP 和语法强制草稿经过端到端测量，当接受率无法回报验证成本时可以禁用。

开放假设、实验以及如何提供帮助

Colibrì 将优化视为假设，直到受控的端到端 A/B 测试证明并非如此。以下是当前的主要问题：

| 假设 | 目前的证据 | 仍需的实验 | | --- | --- | --- | | 路由历史可以比普通 LRU 更好地放置专家 | 学习到的固定提升了重复工作负载，但可能过拟合某个提示 | 在编码、聊天、多语言和长上下文工作负载上进行留出的跨会话 A/B 测试 | | 多个 SSD 可以将独立带宽转化为解码速度 | 加权镜像/拆分路由已实现并验证；带宽模型是合理的 | 冷缓存下单驱动器 vs 双驱动器 | | GLM-5.2 可在真实的独立控制器上运行 | | | | 硬件感知规划器可以自动接近每台机器的最佳配置 | 今天已检测 RAM/VRAM 预算和多种后端 | 将生成的方案与受控参数扫描在笔记本、工作站、NUMA 主机和多 GPU 系统上进行比较 | | 无损或有质量边界的表示可以减少权重 | | |