更新于 2026/06/16 08:09
llama.cpp b9664 发布,SYCL 后端支持 Q4_K/Q5_K/Q6_K MoE 重排权重
llama.cpp 发布 b9664 版本,核心变更在 SYCL 后端:为 Q4_K、Q5_K 和 Q6_K 量化格式的 MoE 专家张量添加了重排权重(reordered-weight)支持,并扩展了 Q5_K 重排 DMMV 覆盖。不支持的 3D 重排场景改为 fallback 而非 abort。
此前 SYCL 后端仅支持部分量化格式的 MoE MUL_MAT_ID 重排,本次补齐了 Q4_K/Q5_K/Q6_K 三种常用低位量化。对于 Intel GPU 用户而言,这意味着在 MoE 架构模型(如 Mixtral)上推理时,SYCL 路径的量化兼容性更完整,性能更稳定。
速读
llama.cpp b9664 补齐 SYCL 后端对 Q4_K/Q5_K/Q6_K MoE 重排权重的支持
相关源 (1)
- llama.cpp Releases · 2026/6/16 08:09:19https://github.com/ggml-org/llama.cpp/releases/tag/b9664