更新于 2026/06/16 13:10
llama.cpp b9670 修复 NVFP4 量化边缘用例并限制 FFN 组合
llama.cpp 发布 b9670 版本,核心修复 NVFP4 量化在 LoRA 和 ModelOPT 偏置添加场景下的后-GEMM 乘法定序问题,确保反量化值在残差和偏置之前完成。同时限制 build_ffn 在 NVFP4 下仅支持已验证的组合,避免未定义行为。
该版本延续了 llama.cpp 对低比特量化推理正确性的持续打磨。macOS 的 KleidiAI 加速版本因 PR #23780 被禁用,Apple Silicon 用户需注意此变更。
速读
llama.cpp b9670 修复 NVFP4 量化在 LoRA 和偏置添加中的定序错误
相关源 (1)
- llama.cpp Releases · 2026/6/16 13:10:45https://github.com/ggml-org/llama.cpp/releases/tag/b9670