以下是您要求的英文文章翻译为中文后的Markdown格式内容，已严格遵循保留原文结构、技术术语不翻译、代码块原样保留等要求。
olmo-eval：面向模型开发循环的评估工作台
回到文章 olmo-eval：面向模型开发循环的评估工作台 企业文章 发布于 2026 年 6 月 12 日 赞 · Tyler Murray undefined 关注 allenai Kyle Wiggers Ai2Comms 关注 allenai
olmo-eval 与现有工具有何不同 集成化的评估栈 可复现的评估，开放透明
💻 代码：https://github.com/allenai/olmo-eval
在你构建 LLM 的过程中，你会反复评估它，经历无数次干预。每一次对数据、架构或超参数的调整——以及每一次规模上的提升——都会让你回到同一个循环：添加或重新配置基准测试，在每个新的模型检查点上重新运行它们，记录结果，并检查某个在小规模实验中有效的方法是否在完整训练中仍然成立。
大多数评估工具并非为此而设计——它们要么是为了在已完成的模型上运行既定基准测试，要么是为了在沙盒中让模型通过多步骤、使用工具的问题来运行。它们无法跟上一个不断变化的模型，也无法反映模型在特定真实世界条件下可能表现出的行为。
我们上一个应对这一评估挑战的项目是 OLMES（开放语言模型评估标准）。它于 2024 年推出，旨在让 LLM 的基准分数在不同版本之间更容易比较。同样的模型在同样的基准测试上以不同方式评分——提示格式和任务制定等细节往往因论文而异——因此关于哪个模型表现最佳的声明往往无法复现。OLMES 将基准测试的选择固定在一个开放、有文档记录的标准中，并成为我们从 Olmo 到 Tulu 评估开放模型的基础。
但模型的最终分数只是评估过程的一部分——这就是为什么我们发布了 olmo-eval，一个基于 OLMES 构建并将其扩展到 LLM 开发其余阶段的新工作台。与 OLMES 相比，olmo-eval 减少了实现新评估的工作量，在定义评估运行地点和方式上提供了更多灵活性，并使将各个组件组合成更大工作流变得更加容易。Agent 和多轮评估作为一等用例得到支持，更强的分析工具帮助你判断某个干预是否确实改进了基线，或者差异是否只是噪声。
olmo-eval 与现有工具有何不同
2.4 个百分点的性能变化足以做出判断吗？
olmo-eval 在某些方面与 Harbor 重叠，Harbor 是一个用于在容器化、沙盒化环境中评估 AI agent 的开放框架。但两者的范围不同。Harbor 主要面向运行和发布 agent 基准测试；olmo-eval 则是为模型开发的日常工作而构建——添加和配置基准测试，跨检查点运行它们，并逐条提示分析结果，而不是只看一个总体分数。
Harbor 以相同的方式运行所有内容——在密封、可复现的容器内。由于容器可能消耗大量资源，olmo-eval 让你可以选择每个基准测试的运行方式。一个只需要模型回答问题的基准测试可以直接运行，这样更快、更便宜；一个需要锁定环境的基准测试——比如运行模型编写的代码——则会获得隔离的容器设置。轻量路径是默认选项，olmo-eval 仅在基准测试确实需要时才选择重型设置。
Harbor 添加基准测试的流程是为你计划发布和公开分享的评估而设计的，包含额外的验证步骤。olmo-eval 则是为你在开发过程中快速推进而构建的，添加基准测试的方式取决于该基准测试的需求：对于基础评估，只需一个简短的定义，并可以选择让模型在运行基准测试时使用工具；对于已有自己代码和流程的基准测试，则只需一个薄包装器，让 olmo-eval 能够按原样运行，并以相同格式将结果与其他基准测试分数一起报告。
Harbor 和 olmo-eval 都将基准测试与运行时策略（模型如何运行以生成答案）分离，这样你可以更改其中一个而无需重写另一个，但 olmo-eval 的设计更具模块化。在 olmo-eval 中，被评估的模型、它可以使用的工具、容器化环境以及任何辅助模型（如 LLM-as-a-judge）都是可替换的组件。你可以在多个 harness 之间复用工具，或者将一个评分模型插入一个基准测试而不影响其他测试，并且可以轻松调整小设置（例如提示的确切措辞），无需大量工作。
Harbor 为每个模型报告一个总体分数。olmo-eval 也报告这些分数，每个分数附带标准误差和最小可检测效应（能够可靠地与噪声区分开的最小差异）。但更有用的视图是将相同的问题在两个模型检查点上对齐，并在保持其他所有条件不变的情况下逐一比较。这有助于你判断总体平均值上的微小变化是否表示真正的改进，还是仅仅是噪声。
| 如果你在寻找... | olmo-eval 提供... | | --- | --- | | 编写一个多示例基准测试 | 带有 DataSource、指标和评分表面的 Task 子类 | | 包装一个已有自己运行器的现有 agent 风格基准测试 | ExternalEval 或 SandboxedExternalEval；基准测试保留其循环和评分，结果落入 olmo-eval 的 schema | | 在固定基准测试下交换运行时 | --harness 和 harness 预设；harness 携带 provider、工具、scaffold、沙盒和辅助 provider | | 并行容器执行 | 用于并行执行器的沙盒实例，基于能力路由，支持 Docker 或 Modal 模式 | | 可跨任务和 harness 复用的工具定义 | @tool 装饰器，带有可选的全局注册表 | | 多轮执行循环 | Scaffolds，例如 openai_agents，按 harness 选择，不嵌入任务定义 |
一个集成化的评估栈
olmo-eval 由四个组件组成，这些组件各自有用，但设计为协同工作...
（注：原文在“An integrated evaluation stack”部分末尾被截断，因此翻译也在此处结束。若您需要后续内容的翻译，请提供完整原文。）