开源社区正在支持用于智能体强化学习的 OpenEnv
*发布于 2026 年 6 月 8 日 | 在 GitHub 上更新 | 点赞 17 +11*
ben burtenshaw、Joseph Spisak、Lysandre、Davide Testuggine、will brown、Chris Wing、Daniel (Unsloth)、Andrew Zhou、Michael Han、Hamid Shojanazeri、Sanyam Bhutani、Zach Wentz、Emre Guven、Lewis Tunstall、Sergio Paniego
为什么我们需要 OpenEnv 来训练开源智能体
为什么我们需要（更加）开放
一个协议层，而非奖励框架
下一步计划
参与进来
OpenEnv 是一个用于创建智能体执行环境的工具，例如终端、浏览器，或任何智能体可以交互的对象。今天，我们激动地宣布 OpenEnv 将变得更加开放，以推动智能体训练的未来走向开源。
从今天起，OpenEnv 将由一个委员会协调，该委员会目前包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Mercor、Fleet AI 和 Hugging Face。
OpenEnv 现已托管在 huggingface/OpenEnv
OpenEnv 项目得到了 AI 生态系统中一些领先组织的支持和采用，包括 PyTorch Foundation、vLLM、SkyRL (UCB)、Lightning AI、Axolotl AI、Stanford Scaling Intelligence Lab、Mithril、OpenMined、Scaler AI Labs、Scale AI、Patronus AI、Surge AI、Halluminate、Turing、Scorecard 和 Snorkel AI。
为什么我们需要 OpenEnv 来训练开源智能体
像 Claude Code、Codex、OpenClaw 和 Hermes 这样的智能体工具（harness）正在不断改进。它们改进的一个原因是，像 GPT-5.5 和 Opus 4.8 这样的模型经过了训练，能够使用各自对应的工具。我们也希望开源模型能获得同样的进步：训练本地模型以有效使用这些工具，并通过为特定任务定制模型来节省计算资源。
为什么我们需要（更加）开放
前沿实验室训练的模型和工具，在很大程度上是紧密配合的。模型经过训练以使用该工具，并针对其特性进行了优化。模型可以在一定程度上泛化到这些工具之外，但没有什么能比得上针对性训练的效率。
在开源领域，情况并非如此。开发者可以使用任何工具、任何模型、任何推理引擎，来处理他们看重的任何用例。这对社区来说是根本性的，但也是一个挑战，需要基础设施和工具来应对。这正是 OpenEnv 的用武之地。它是一个用于连接工具、环境和训练器的库，适用于任何模型。为了使其持久发展，它需要由所有主要利益相关方共同拥有。
一个协议层，而非奖励框架
伴随着治理结构的变更，我们也在明确 OpenEnv 的定位。在最近的版本中，OpenEnv 已成为 RL 环境的互操作层。它的工作是标准化环境的发布、部署以及被智能体使用的方式。它不会规定奖励如何定义或训练循环如何工作。奖励定义、评分标准以及训练器特定的逻辑，应归属于专门处理这些问题的库。OpenEnv 是它们都可以插入的通用接口。
在实践中，这意味着：
- 一个接口，多种环境：所有环境都暴露熟悉的 Gymnasium 风格 API（
reset()、step()、state()），并在客户端/服务器架构上运行。一个支持 OpenEnv 的训练器可以驱动任何兼容的环境，而无需编写定制代码。 - 熟悉的协议和规范的打包方式：环境通过 HTTP 和 WebSocket 等标准协议提供服务，并使用 Docker 打包。MCP 是一等公民，因此 OpenEnv 环境可以立即与 MCP 服务器兼容，并且同一环境在模拟（训练/评估）和生产模式下行为一致。
- 跨环境库的互操作性：你可以在不同的生态系统（verifiers、harbor 等）中定义和使用环境，并选择你偏好的基础设施和中心。OpenEnv 是它们底层的部署和接口层，而不是它们的竞争对手。
下一步计划
在未来几个月，我们将专注于将 OpenEnv 从一个快速增长的项目转变为一个可靠的标准：
- 通过数据集的任务集：将环境任务连接到 Hugging Face 数据集，使环境和基准测试能够干净地组合（RFC 006）。
- 外部奖励：允许在你已使用的任何库中定义奖励，OpenEnv 作为部署层（RFC 007）。
- 持续的工具集成：对智能体工具的一等支持。
- 端到端示例：在 TRL、Unsloth 及其他框架中提供完整的训练和评估教程。
- 自动验证：衡量环境质量及其对模型学习的贡献。这将为社区提供一种可扩展的方式来评估其环境并提升质量（想想黑客马拉松！）。RFC 008。
参与进来
OpenEnv 在设计上以社区为中心，而且现在还处于早期阶段——预计会有一些粗糙的地方，请帮助我们使其更完善。查看代码和 RFC：github.com/huggingface/OpenEnv
感谢所有帮助实现这一转变的人。让我们一起为开源智能体强化学习构建共同的基石。
来自我们博客的更多文章
- 公告 | 开源社区
*OpenEnv 实践：在真实世界环境中评估使用工具的智能体* +1 33 | 2026 年 2 月 12 日
- 公告 | 开源社区
*共同构建开放智能体生态系统：介绍 OpenEnv* +6 162 | 2025 年 10 月 23 日
社区编辑预览 通过拖拽、粘贴或点击此处上传图片、音频和视频。 点击或粘贴此处上传图片
评论 · 注册或登录以评论 点赞 17 +5