AI OSS tool repo goes archived over night after raising $7.3M Seed

以下是您要求的英文文章的中文翻译，已按照要求保留原文结构、技术术语和代码块，并输出为 Markdown 格式。

AI OSS 工具仓库在获得 730 万美元种子轮融资后一夜归档

TensorZero TensorZero 是一个开源的 LLMOps 平台，它统一了以下功能：

网关：通过统一的 API 访问所有 LLM 提供商，专为高性能而构建（<1ms p99 延迟）
可观测性：将推理结果和反馈存储在你的数据库中，可通过编程方式或 UI 访问
评估：使用启发式方法、LLM 评判器等对单个推理或端到端工作流进行基准测试
优化：收集指标和人工反馈，以优化提示词、模型和推理策略
实验：通过内置的 A/B 测试、路由、回退、重试等功能，自信地交付产品

你可以按需取用，逐步采纳，并与其他工具互补。它与 OpenAI SDK、OpenTelemetry 以及所有主流 LLM 提供商都能很好地配合使用。TensorZero 被从前沿 AI 初创公司到财富 10 强企业广泛使用，目前支撑着全球约 1% 的 LLM API 支出。

网站 · 文档 · Twitter · Slack · Discord 快速入门（5分钟）· 部署指南 · API 参考 · 配置参考

演示

tensorzero-demo.mp4

功能

注意 🆕 TensorZero Autopilot TensorZero Autopilot 是一个由 TensorZero 驱动的自动化 AI 工程师，它分析 LLM 可观测性数据，设置评估，优化提示词和模型，并运行 A/B 测试。它能显著提升 LLM 智能体在多样化任务中的表现。

了解更多 →

🌐 LLM 网关

与 TensorZero 集成一次，即可访问所有主流 LLM 提供商。

通过单一统一 API 调用任何 LLM（API 或自托管）
支持工具调用、结构化输出（JSON）、批量处理、嵌入、多模态（图像、文件）、缓存等功能
创建提示词模板和模式，以在你的应用程序和 LLM 之间强制执行结构化接口
得益于 🦀 Rust：在 10k+ QPS 下实现 <1ms p99 延迟开销，满足极端的吞吐量和延迟需求
通过路由、重试、回退、负载均衡、精细超时等机制确保高可用性
跟踪使用情况和成本，并通过精细作用域（例如标签）强制执行自定义速率限制
为 TensorZero 设置身份验证，允许客户端访问模型而无需共享提供商 API 密钥

支持的模型提供商 Anthropic、AWS Bedrock、AWS SageMaker、Azure、DeepSeek、Fireworks、GCP Vertex AI Anthropic、GCP Vertex AI Gemini、Google AI Studio（Gemini API）、Groq、Hyperbolic、Mistral、OpenAI、OpenRouter、SGLang、TGI、Together AI、vLLM 和 xAI（Grok）。还需要其他支持？TensorZero 也支持任何兼容 OpenAI 的 API（例如 Ollama）。

使用示例 你可以将 TensorZero 与任何 OpenAI SDK（Python、Node、Go 等）或兼容 OpenAI 的客户端一起使用。

部署 TensorZero 网关（一个 Docker 容器）。
更新你兼容 OpenAI 的客户端中的 base_url 和 model。
运行推理：

from openai import OpenAI

# 将客户端指向 TensorZero 网关
client = OpenAI(
    base_url="http://localhost:3000/openai/v1",
    api_key="not-used"
)

response = client.chat.completions.create(
    # 调用任何模型提供商（或 TensorZero 函数）
    model="tensorzero::model_name::anthropic::claude-sonnet-4-6",
    messages=[
        {
            "role": "user",
            "content": "分享一个关于 TensorZero 的有趣事实。",
        }
    ],
)

更多信息请参阅快速入门。

🔍 LLM 可观测性

放大查看以调试单个 API 调用，或缩小查看以监控跨模型和提示词随时间变化的指标——所有这些都通过开源的 TensorZero UI 完成。

将推理结果和反馈（指标、人工编辑等）存储在你自己的数据库中
使用 TensorZero UI 或通过编程方式深入分析单个推理或高级聚合模式
为优化、评估和其他工作流构建数据集
使用新的提示词、模型、推理策略等重放历史推理
将 OpenTelemetry 跟踪（OTLP）和 Prometheus 指标导出到你最喜欢的应用可观测性工具
即将推出：AI 辅助调试和根因分析；AI 辅助数据标注

📈 LLM 优化

发送生产指标和人工反馈，以轻松优化你的提示词、模型和推理策略——通过 UI 或编程方式。

使用监督微调、RLHF 和其他技术优化你的模型
使用自动化提示词工程算法（如 GEPA）优化你的提示词
使用动态上下文学习、最佳/混合 N 采样等优化你的推理策略
为你的 LLM 启用反馈循环：一个数据和学习的飞轮，将生产数据转化为更智能、更快、更便宜的模型
即将推出：合成数据生成

📊 LLM 评估

使用由启发式方法和 LLM 评判器驱动的评估来比较提示词、模型和推理策略。

使用由启发式方法或 LLM 评判器驱动的推理评估来评估单个推理（≈ LLM 的单元测试）
使用完全灵活的工作流评估来评估端到端工作流（≈ LLM 的集成测试）
像优化任何其他 TensorZero 函数一样优化 LLM 评判器，使其与人类偏好对齐
即将推出：更多内置评估器；无头评估

评估 » UI 评估 » CLI

docker compose run --rm evaluations \
    --evaluation-name extract_data \
    --dataset-name hard_test_cases \
    --variant-name gpt_4o \
    --concurrency 5

Run ID: 01961de9-c8a4-7c60-ab8d-15491a9708e4
Number of datapoints: 100
████████████████████████████████████████ 100/100
exact_match: 0.83 ± 0.03 (n=100)
semantic_match: 0.98 ± 0.01 (n=100)
item_count: 7.15 ± 0.39 (n=100)

🧪 LLM 实验

通过内置的 A/B 测试、路由、回退、重试等功能，自信地交付产品。

运行自适应 A/B 测试，以自信地交付产品，并为你用例确定最佳的提示词和模型
在复杂工作流中强制执行有原则的实验，包括对多轮 LLM 系统、顺序测试等的支持
以及更多！

使用适合原型但从头设计以支持最复杂 LLM 应用和部署的开源栈进行构建。

构建简单的应用或大规模部署，配合 GitOps 友好的编排
通过内置的逃生舱口、以编程方式优先的使用、直接的数据库访问来扩展 TensorZero