← 返回信息流
更新于 2026/05/22 22:17

llama.cpp b9291 发布:SYCL 下 MoE 预填吞吐提升

llama.cpp 发布 b9291 版本,核心改进集中在 SYCL 后端对 MoE(混合专家)模型预填阶段的吞吐优化。

原方案在预填时需遍历所有路由行与专家数,复杂度为 O(n_as × n_routed_rows)。新实现改用计数排序思路,将复杂度降至 O(n_as + n_routed_rows),同时利用预计算的连续映射让每个专家拥有的行集中在连续切片中,减少数据搬运开销。

该优化对在 Intel GPU(SYCL 后端)上运行 DeepSeek 等 MoE 架构模型的用户有直接收益,预填阶段延迟可显著降低。同步发布 macOS、Linux 多平台二进制及 Vulkan/ROCm/OpenVINO 后端构建。

速读

llama.cpp b9291 用计数排序优化 SYCL 后端 MoE 预填吞吐

相关源 (1)