← 返回信息流
更新于 2026/06/16 13:10

llama.cpp b9670 修复 NVFP4 量化边缘用例并限制 FFN 组合

llama.cpp 发布 b9670 版本,核心修复 NVFP4 量化在 LoRA 和 ModelOPT 偏置添加场景下的后-GEMM 乘法定序问题,确保反量化值在残差和偏置之前完成。同时限制 build_ffn 在 NVFP4 下仅支持已验证的组合,避免未定义行为。

该版本延续了 llama.cpp 对低比特量化推理正确性的持续打磨。macOS 的 KleidiAI 加速版本因 PR #23780 被禁用,Apple Silicon 用户需注意此变更。

速读

llama.cpp b9670 修复 NVFP4 量化在 LoRA 和偏置添加中的定序错误

相关源 (1)