← 返回信息流
更新于 2026/05/18 13:40

Unsloth v0.1.405-beta 发布:GGUF 推理 2 倍加速与多 API 接入

Unsloth 发布 v0.1.405-beta 版本,核心更新包括:自动启用 MTP 推测解码使 GGUF 推理速度提升 1.4–2 倍,并内置新版 llama.cpp 二进制文件以支持 MTP;新增 API 层,可接入 OpenAI、Anthropic、OpenRouter 等云提供商,内置网页搜索与代码执行能力,自动启用 prompt caching 节省 50–90% 成本;支持连接 vLLM、Ollama、llama-server 等外部推理后端;实验性支持 MLX 推理,可在 Mac 上本地运行 MLX 量化模型;修复了非英语语言(如中文、日文)的发送与提示问题,并做了大量 UI/UX 改进。

速读

Unsloth 新版本自动启用 MTP 推测解码,GGUF 推理提速 2 倍

相关源 (1)