unslothai unsloth

unslothai unsloth

Unsloth 是首个用于运行和训练模型的桌面应用。功能 • 快速入门 • Notebooks • 文档

⚡ 快速开始

下载适用于您操作系统的原生 Unsloth 桌面应用：

| 平台 | 链接 | |------|------| | Windows | 下载 | | macOS | 下载 | | Linux / Ubuntu (deb) | 下载 | | Linux (AppImage) | 下载 | | Linux (Arm64) | 下载 |

可从 Unsloth 官网或 GitHub Releases 下载。或者，如果您更倾向于手动安装：

• macOS、Linux、WSL：curl -fsSL https://unsloth.ai/install.sh | sh
• Windows：irm https://unsloth.ai/install.ps1 | iex

社区：Discord、𝕏 (Twitter)、Reddit

⭐ 功能特性

Unsloth 让您可以在本地运行、训练和部署 AI 模型，支持所有类型的模型。

运行与构建 AI

• 运行和训练 LLM、扩散模型、嵌入模型、音频模型：Kimi K3、MiniMax-H3、Qwen3.8、Muse Glimmer、DeepSeek-V4、Gemma 4。
• 智能体与工具：将本地模型与 Claude Code、Codex 和 MCP 配合使用，包括工具调用和代码执行。
• 搜索与 RAG：使用私密且无限制的网络搜索、深度研究和 RAG。
• 图像与视频：运行和训练图像与视频扩散模型或多模态模型。
• 音频：使用私密且无限制的网络搜索、深度研究和 RAG。
• 硬件：支持 CPU、NVIDIA、AMD、Intel、macOS 以及多 GPU 配置。
• 远程访问：通过安全的 Cloudflare HTTPS 远程访问您的本地模型。

训练与部署

• 微调：以 2 倍速度、减少 70% 显存占用训练 LLM、扩散模型、TTS 和嵌入模型。
• 完整支持：支持强化学习、LoRA、QLoRA、全量微调、预训练、RL、GRPO、DPO 和 FP8。
• 导出与部署：以 GGUF、NVFP4、FP8 等格式导出或部署模型。
• 数据集：使用 Data Recipes 从 PDF、CSV、DOCX 等文件构建数据集。
• OpenAI 兼容 API：通过 OpenAI 兼容 API 提供模型服务，并可连接云服务提供商。

🚀 Unsloth Start

Unsloth Start 通过一条命令将 Claude Code、Codex 和其他智能体连接到本地模型。启动 Unsloth，加载模型，打开您的项目文件夹，然后运行：

unsloth start claude

将 claude 替换为任何受支持的智能体：

| 智能体 | 命令 | |--------|------| | Claude Code | unsloth start claude | | OpenAI Codex | unsloth start codex | | Hermes Agent | unsloth start hermes | | OpenClaw | unsloth start openclaw | | OpenCode | unsloth start opencode |

Claude Code、Codex 和 OpenCode 可以保留其当前模型，并将 Unsloth 用作本地子智能体：

unsloth start claude --as-subagent --model unsloth/model-GGUF:quant

📥 安装

Unsloth 有三种使用方式：Unsloth Desktop（桌面应用）、Unsloth Studio（Web 界面）或 Unsloth Core（基于代码的版本）。

Unsloth Desktop（推荐）

基于 Tauri 的桌面应用是使用 Unsloth 最简单的方式，无需任何设置，请从这里开始。

| 平台 | 链接 | |------|------| | Windows | 下载 | | macOS | 下载 | | Linux / Ubuntu (deb) | 下载 | | Linux (AppImage) | 下载 | | Linux (Arm64) | 下载 |

Unsloth Studio（Web 界面）

Unsloth Studio（Beta）支持 Windows、Linux、WSL 和 macOS。

• CPU：目前支持聊天和 Data Recipes
• NVIDIA：训练支持 RTX 30/40/50、Blackwell、DGX Spark、Station 等
• macOS：训练、MLX 和 GGUF 推理全部支持
• AMD：训练、RL、聊天和部署支持 Windows、WSL 和 Linux。请阅读 AMD 指南。
• Vulkan：GGUF 推理支持兼容 GPU，包括 Intel GPU。Vulkan 仅加速 GGUF 推理；训练仍需受支持的 PyTorch 或 MLX 后端。
• 多 GPU：现已可用，重大升级即将推出

macOS、Linux、WSL：

curl -fsSL https://unsloth.ai/install.sh | sh

使用相同命令进行更新。Studio 运行后，可通过 设置 > 系统 > GGUF 推理引擎 更改 GGUF 推理后端：选择 CPU、CUDA、ROCm 或 Vulkan（仅列出适用于您机器的构建版本），然后点击“应用”。该选择会随安装一并记录，因此更新时会保留，而“自动”选项会返回硬件检测模式。

若要在首次启动前选择后端，请在安装或更新前设置 UNSLOTH_LLAMA_CPP_BACKEND。它会选择 llama.cpp 二进制包，因此仅在启动 Studio 时设置无法替换已有包，且该设置会覆盖“设置”中的选择：

export UNSLOTH_LLAMA_CPP_BACKEND=vulkan  # 或 cpu, cuda, rocm, auto
curl -fsSL https://unsloth.ai/install.sh | sh

在 Linux 和 WSL 上，以下 AMD GPU 没有对应的 ROCm PyTorch wheels：Polaris（RX 470/480/570/580/590）和 RDNA 1（RX 5500/5600/5700）。这些 GPU 上 torch 保持 CPU 模式，因此无法进行训练和 GPU 推理，但 GGUF 聊天可通过 Vulkan 在 GPU 上运行。并非所有 pre-RDNA 2 显卡都属于此类：Vega 20（Radeon VII、MI50、gfx906）保留 ROCm PyTorch 路径，安装程序会将其路由到该路径。旧的 UNSLOTH_FORCE_VULKAN=1 仍然有效，并在未设置 UNSLOTH_LLAMA_CPP_BACKEND 时被读取。

macOS 没有 Vulkan llama.cpp 包，也不需要：安装程序始终使用 Metal 构建版本，该版本覆盖 Apple Silicon 和 Intel Mac 中的 AMD GPU。如果设置了该变量，安装程序会提示并继续执行。

Windows：

irm https://unsloth.ai/install.ps1 | iex

使用相同命令进行更新。要在首次启动前选择 GGUF 推理后端，请在运行安装程序或更新程序前设置环境变量（或稍后在 设置 > 系统 > GGUF 推理引擎 中更改）：

$env:UNSLOTH_LLAMA_CPP_BACKEND = "vulkan"  # 或 cpu, cuda, rocm, auto
irm https://unsloth.ai/install.ps1 | iex

当后端不同时，重新运行当前安装程序会替换之前选择的包。不需要单独的 Vulkan SDK；GPU 驱动程序必须提供可用的 Vulkan 运行时。

启动：

unsloth studio -p 8888

如需局域网或云访问，请添加 -H 0.0.0.0（仅限原始端口；添加 --cloudflare 可获取公共 URL）。默认情况下，Unsloth 仅限本地访问。要通过 HTTPS 访问 Unsloth，请使用：

unsloth studio --secure

Unsloth 保持绑定在 localhost，仅通过免费的 Cloudflare 隧道访问，该隧道将其发布到公共 https://*.trycloudflare.com URL（如果隧道无法启动，则安全关闭，原始端口永远不会暴露）。这使得 Unsloth 可以从…