更新于 2026/05/05 21:28
SGLang v0.5.11 发布:CUDA 13 升级、推测解码 V2 默认启用
SGLang v0.5.11 正式发布。默认 CUDA 版本升级至 13.0,PyTorch 从 2.9 升级至 2.11,解锁更新内核。
推测解码 V2(Spec V2)成为默认路径,通过 overlap 调度隐藏 CPU 开销,降低 EAGLE/MTP/DFLASH 路径的每步 CPU 成本。PD 分离部署下新增解码端 Radix Cache,恢复长共享前缀的缓存命中率与 TTFT 收益。
新增 Gemma 4、GLM-5.1、Qwen3.6 等模型日级支持。LoRA 首次支持 DeepSeek-V3 和 Kimi-K2 等 MLA 架构 MoE 模型。
Context Parallel 方面融合了 All-reduce + RMSNorm,并支持独立调优 MoE 与 Attention 并行度。社区贡献的 FA3 内核与 DFLASH 推测解码内核同步合入。
速读
SGLang v0.5.11 升级 CUDA 13 与 Torch 2.11,推测解码 V2 默认启用
相关源 (1)
- SGLang Releases · 2026/5/5 21:28:56https://github.com/sgl-project/sglang/releases/tag/v0.5.11