更新于 2026/06/13 14:15
llama.cpp b9622 发布:Vulkan 后端支持非连续张量一元/GLU 算子
llama.cpp 发布 b9622 版本,核心改动是 Vulkan 后端对非连续(non-contiguous)张量的一元运算和 GLU 算子提供支持。此前 Vulkan 后端的一元/GLU 算子仅能处理连续内存布局的张量。
本次提交将全部一元算子合并为同一文件,统一传入所有 stride 并使用 fastdiv 进行索引计算,同时将 fastdiv 的 'L' 值打包以解决 xielu 额外常量的空间问题。此外新增 expm1 算子并做了精度分析。
对在 Vulkan 上运行非标准内存布局模型的用户而言,此版本消除了一个关键限制,无需在推理前强制 contig 转换,减少了显存拷贝开销。
速读
llama.cpp b9622 为 Vulkan 后端补齐非连续张量一元/GLU 算子支持
相关源 (1)
- llama.cpp Releases · 2026/6/13 14:15:55https://github.com/ggml-org/llama.cpp/releases/tag/b9622