← 返回信息流
更新于 2026/06/16 08:09

llama.cpp b9664 发布,SYCL 后端支持 Q4_K/Q5_K/Q6_K MoE 重排权重

llama.cpp 发布 b9664 版本,核心变更在 SYCL 后端:为 Q4_K、Q5_K 和 Q6_K 量化格式的 MoE 专家张量添加了重排权重(reordered-weight)支持,并扩展了 Q5_K 重排 DMMV 覆盖。不支持的 3D 重排场景改为 fallback 而非 abort。

此前 SYCL 后端仅支持部分量化格式的 MoE MUL_MAT_ID 重排,本次补齐了 Q4_K/Q5_K/Q6_K 三种常用低位量化。对于 Intel GPU 用户而言,这意味着在 MoE 架构模型(如 Mixtral)上推理时,SYCL 路径的量化兼容性更完整,性能更稳定。

速读

llama.cpp b9664 补齐 SYCL 后端对 Q4_K/Q5_K/Q6_K MoE 重排权重的支持

相关源 (1)