更新于 2026/05/22 22:17
llama.cpp b9291 发布:SYCL 下 MoE 预填吞吐提升
llama.cpp 发布 b9291 版本,核心改进集中在 SYCL 后端对 MoE(混合专家)模型预填阶段的吞吐优化。
原方案在预填时需遍历所有路由行与专家数,复杂度为 O(n_as × n_routed_rows)。新实现改用计数排序思路,将复杂度降至 O(n_as + n_routed_rows),同时利用预计算的连续映射让每个专家拥有的行集中在连续切片中,减少数据搬运开销。
该优化对在 Intel GPU(SYCL 后端)上运行 DeepSeek 等 MoE 架构模型的用户有直接收益,预填阶段延迟可显著降低。同步发布 macOS、Linux 多平台二进制及 Vulkan/ROCm/OpenVINO 后端构建。
速读
llama.cpp b9291 用计数排序优化 SYCL 后端 MoE 预填吞吐
相关源 (1)
- llama.cpp Releases · 2026/5/22 22:17:36https://github.com/ggml-org/llama.cpp/releases/tag/b9291