← 返回信息流
更新于 2026/07/10 17:18

llama.cpp b9952 发布:Flash Attention 下 KQ 掩码统一为 f16

llama.cpp 发布 b9952 版本,核心改动围绕 DeepSeek V4 模型的注意力机制优化。所有 KQ 掩码(除闪电索引器外)在使用 Flash Attention 时统一转为 f16 精度,并移除了零注意力偏置。

此外,移除了 DeepSeek V4 中为每个流重复 unified raw_k 缓存的死代码——raw_k 现已始终为非统一模式,不再需要冗余复制。两项改动均不破坏向后兼容性,但可减少显存占用并提升推理吞吐。

速读

llama.cpp b9952 优化 DeepSeek V4 注意力掩码精度与缓存逻辑

相关源 (1)