更新于 2026/05/18 13:40
Unsloth v0.1.40-beta 发布:GGUF 推理提速 2 倍,新增 API 与外部后端连接
Unsloth 发布 v0.1.40-beta 版本,核心更新包括:自动启用 MTP 推测解码使 GGUF 推理速度提升约 2 倍,并内置预编译 llama.cpp 二进制文件以支持 MTP;新增 API 调用支持,可连接 OpenAI、Anthropic、OpenRouter 等云提供商,内置网页搜索与代码执行功能,自动启用提示缓存可节省 50%–90% 成本;支持连接 vLLM、Ollama、llama-server 等外部推理后端;实验性支持 MLX 推理,可在 Mac 上本地运行 MLX 量化模型。此外还改进了非英语语言支持、IME 输入、RTL 布局、离线模式等多项 UI/UX 优化。
速读
Unsloth v0.1.40-beta 通过 MTP 推测解码使 GGUF 推理速度提升约 2 倍
相关源 (1)
- Unsloth Releases · 2026/5/18 13:40:58https://github.com/unslothai/unsloth/releases/tag/v0.1.40-beta