← 返回信息流
更新于 2026/06/13 14:15

llama.cpp b9622 发布:Vulkan 后端支持非连续张量一元/GLU 算子

llama.cpp 发布 b9622 版本,核心改动是 Vulkan 后端对非连续(non-contiguous)张量的一元运算和 GLU 算子提供支持。此前 Vulkan 后端的一元/GLU 算子仅能处理连续内存布局的张量。

本次提交将全部一元算子合并为同一文件,统一传入所有 stride 并使用 fastdiv 进行索引计算,同时将 fastdiv 的 'L' 值打包以解决 xielu 额外常量的空间问题。此外新增 expm1 算子并做了精度分析。

对在 Vulkan 上运行非标准内存布局模型的用户而言,此版本消除了一个关键限制,无需在推理前强制 contig 转换,减少了显存拷贝开销。

速读

llama.cpp b9622 为 Vulkan 后端补齐非连续张量一元/GLU 算子支持

相关源 (1)