以下是根据您的要求翻译的中文版本，保留了原文结构、技术术语和代码块，并采用 Markdown 格式输出。
Mesh LLM：基于 iroh 的分布式 AI 计算
2026 年 7 月 11 日，作者：Rae McKelvey
当人们想象运行一个大语言模型时，他们脑海中浮现的是数据中心。一排排属于别人的 GPU、一个按用量计费的 API，以及一张随着你每月的成功而不断增长的账单。你将提示词发送到一个黑盒中，并希望价格、模型和隐私政策都保持在你注册时的样子。对许多团队来说，这是一笔糟糕的交易。你放弃了控制模型何时变更、数据去向何方以及运行工作负载的硬件的能力。随着使用量的增长，账单也在增加，而你唯一的杠杆就是“付更多钱”。
Mesh LLM 则是一种不同的形态。它将你已有的 GPU 和内存汇集起来，跨越任意数量的机器，并将整个系统暴露为一个兼容 OpenAI 的 API。启动一个节点。之后再添加更多节点。让 mesh 决定模型是在你面前的机器上运行，路由到某个对等节点，还是拆分到多台机器上。
问题：AI 很贵，而且是别人的
流行的模型都是单体架构。大多数人通过 UI 或 API 密钥访问它们，并付费让大型提供商运行一切。这很方便，但也是一种妥协。你无法控制模型何时更新、它运行在什么内存中，或者底层使用什么硬件。许多依赖这些模型的企业和服务希望得到相反的结果：更多的控制权、更强的可插拔性、更低的成本。他们的 GPU 散落在办公室、壁橱里、桌子底下。他们缺少的是一种让这些机器像一台机器一样协同工作的方法。
Mesh LLM：自己运行模型
理念很简单。在不购买更大 GPU 的情况下运行更大的模型。与你的团队私下共享算力，或与全世界公开共享，以驱动 agent 和聊天。将任何 OpenAI 客户端指向 http://localhost:9337/v1，然后不再关心实际工作在哪里完成。
在底层，Mesh LLM 将模型计算分布在一个由 iroh 端点组成的 mesh 中。一个请求可以通过三种方式处理：
- 在本地，使用本机的 GPU 运行。
- 路由到已经加载了该模型的对等节点。
- 将单个机器无法容纳的模型拆分成流水线，分布在多台机器上。
工作原理
架构是可插拔的。插件在 manifest 中声明它们提供什么，运行时启动它们，路由调用，并通过 MCP、HTTP、推理和 mesh 事件暴露它们的能力。目录中提供了 40 多个模型，从适合笔记本电脑的 5 亿参数模型，到 235B 的混合专家巨兽。
对于巨兽模型，Mesh LLM 有一种拆分模式（内部称为“Skippy”）。模型按层范围划分为多个阶段：第 0 到 15 层在一个节点上，第 16 到 31 层在下一个节点上，依此类推，形成流水线。激活值从一个阶段流向下一个阶段，因此几台普通的机器可以运行一个它们单独都无法容纳的模型。OpenAI 客户端完全看不到这一切。它仍然只与 localhost 通信。
如何使用 iroh
每个节点，无论是提供模型服务还是只发送请求，都会启动一个 iroh 端点。该端点是节点的身份、一个公钥，也是它唯一的网络接口。没有中央服务器。iroh 处理打洞、NAT 穿透和中继回退，以便在任何两个节点之间打开一条直接、经过身份验证的 QUIC 连接，无论它们位于何处。
为了在开放的互联网上保持正常工作，Mesh LLM 在不同区域运行两个 iroh 中继，因此无法直接互通的节点始终有一条附近的中继路径可用。
整个协议基于 QUIC 的 ALPN 协商。共有三种：
| ALPN | 承载内容 | |---|---| | mesh-llm/1 | 主 mesh：gossip、路由、HTTP 隧道、插件通道 | | mesh-llm-control/1 | 所有者控制平面（配置同步、所有权证明） | | skippy-stage/2 | 用于拆分模型的延迟敏感激活传输 |
在主要的 mesh-llm/1 连接内部，所有内容都是双向 QUIC 流，通过一个单字节前缀标记流的类型。一个连接承载 gossip、推理、路由查询和对等节点生命周期事件，全部通过该首字节进行解复用：
| 字节 | 流类型 | 描述 | |---|---|---| | 0x01 | GOSSIP | 对等节点公告（模型、GPU、RTT、能力） | | 0x04 | TUNNEL_HTTP | 代理到对等节点的推理请求 | | 0x05 | ROUTE_REQUEST | “你托管了哪些模型？” | | 0x06 | PEER_DOWN | 死节点通知 | | 0x07 | PEER_LEAVING | 优雅关闭 | | 0x08 | PLUGIN_CHANNEL | 插件 RPC | | 0x0e | DIRECT_PATH_REQUEST | 共享用于 NAT 穿透的直接地址 |
巧妙之处在于这能带来什么。iroh 在任何两台机器之间提供经过身份验证、支持 NAT 穿透的 QUIC 连接，并通过公钥寻址。因此，“路由到对等节点”和“将激活值流式传输到下一个流水线阶段”变成了与“与 localhost 通信”相同的原语，只是端点 ID 不同。网络问题不再需要你操心。iroh 提供安全传输。Mesh LLM 在其之上构建自己的 gossip 层，从而精确控制谁可以加入 mesh、哪些版本兼容以及哪些对等节点值得信任。
快速开始
用户可以安装这个轻量级软件（约 18 MB），然后加入公共 mesh 或配置私有部署。系统以 localhost:9337/v1 的形式呈现给任何标准的 OpenAI 客户端。基于 iroh 的 Swift SDK 构建的移动应用即将推出。计划是支持 ACP（新兴的 agent 标准），以便其他客户端也能加入 mesh。贯穿始终的主线与驱动整个项目的动机相同：更多的点对点连接，更少的封闭服务器，以及没有锁定。
查看代码
- [Mesh LLM 网站](https://meshllm.dev)
- [Iroh](https://iroh.computer) 是一个“可连接任何设备”的网络库，开箱即用。从现成的协议生态系统中组合出你需要的功能，或者在“哑管道”之上的干净抽象中完全自定义。Iroh 是开源的，并且已经在数十万台设备上投入生产。要开始使用，请查看我们的[文档](https://docs.iroh.computer)，直接深入[代码](https://github.com/n0-computer/iroh)，或在我们的 [Discord 频道](https://discord.gg/iroh)中与我们交流。