本地跑大模型?这个开源工具让训练和推理同时起飞
当所有人都在追逐云端算力时,一个名为unsloth的开源项目正在把大模型训练和推理拉回本地桌面。它支持Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、DeepSeek-V4甚至FLUX扩散模型,覆盖文本生成与图像生成两大主流场景。核心卖点在于:无需专业显卡,普通消费级硬件就能跑起这些动辄数十亿参数的模型。这背后是内存优化和量化技术的突破,让显存占用降低50%以上,训练速度提升2-3倍。对于开发者而言,这意味着模型微调不再是大厂的专利,个人开发者可以在本地完成从数据准备到部署的全流程。更重要的是,unsloth的UI设计降低了使用门槛,让非算法工程师也能上手。当开源社区开始把“本地化”作为默认选项,云厂商的算力垄断叙事正在被悄然瓦解。
[Python] ⭐580
unslothai unsloth
Local UI to run and train LLMs and diffusion models, including Qwen3.8, Kimi K3, MiniMax-H3, Gemma 4, DeepSeek-V4, FLUX