更新于 2026/07/10 17:18
llama.cpp b9952 发布:Flash Attention 下 KQ 掩码统一为 f16
llama.cpp 发布 b9952 版本,核心改动围绕 DeepSeek V4 模型的注意力机制优化。所有 KQ 掩码(除闪电索引器外)在使用 Flash Attention 时统一转为 f16 精度,并移除了零注意力偏置。
此外,移除了 DeepSeek V4 中为每个流重复 unified raw_k 缓存的死代码——raw_k 现已始终为非统一模式,不再需要冗余复制。两项改动均不破坏向后兼容性,但可减少显存占用并提升推理吞吐。
速读
llama.cpp b9952 优化 DeepSeek V4 注意力掩码精度与缓存逻辑
相关源 (1)
- llama.cpp Releases · 2026/7/10 17:18:39https://github.com/ggml-org/llama.cpp/releases/tag/b9952