一个名为whichllm的轻量级工具,能自动检测用户硬件(GPU型号、显存、CPU核心数),然后从本地已下载的模型中运行真实推理测试,并基于“时效性基准”排名——不仅看速度,还考虑模型发布时间和硬件兼容性。它解决了社区长期痛点:跑分网站上的性能数据往往基于A100等服务器显卡,对消费级RTX 4090或Mac Studio毫无参考价值。实测显示,同一款模型在3090和4090上的推理延迟差异可达4倍,而whichllm会推荐最匹配的量化版本(如4-bit vs 8-bit)。对于想本地部署但被海量模型搞晕的开发者,这堪称“避坑指南”。
[Python] ⭐631
Andyyyy64 whichllm
Find the local LLM that actually runs and performs best on your hardware. Ranked by real, recency-aware benchmarks, not