← 返回信息流
更新于 2026/05/16 18:23

SGLang v0.5.12 发布,原生支持 DeepSeek V4 全链路推理

SGLang v0.5.12 正式发布,核心亮点是完整支持 DeepSeek V4 推理链路,包括 Tensor Parallelism、Expert Parallelism、Context Parallelism、Data Parallel Attention 等多种并行策略,覆盖 Nvidia B300/B200/H200/H100/GB200/GB300 及 AMD MI35X 等硬件。新增 TokenSpeed MLA attention 后端(Blackwell FP8 KV cache),以及 DSv3.2/GLM-5 的 FP4 低延迟优化。

Post-Day-0 补充了 HiCache 统一 Radix Tree、W4A4 MegaMoE 量化内核、TP16 支持、Pipeline Parallelism + PD 等特性。同时新增 Intern-S2-Preview、MiniCPM-V 4.6 等模型支持。

统一 Docker 镜像 lmsysorg/sglang:v0.5.12 覆盖所有 Nvidia GPU。

速读

SGLang v0.5.12 完整支持 DeepSeek V4 推理,含 TP/EP/CP/DPA 及 FP8 KV cache 优化。

相关源 (1)