更新于 2026/05/23 17:15
llama.cpp b9297 发布,新增 NVFP4 MTP 缩放张量支持
llama.cpp 发布 b9297 版本,核心变更为为 NVFP4 格式添加 MTP(Multi-Token Prediction)缩放张量支持,并关联 Qwen3.5 MTP 张量。该 PR 通过新增 NVFP4 MTP scale tensors 并链接 Qwen3.5 的 MTP 张量,使模型在低精度推理时能正确加载多 token 预测头的缩放参数,对齐空指针处理。
对在本地部署 Qwen3.5 并启用 MTP 投机解码的用户而言,此修复可避免因张量缺失导致的加载失败,提升低比特推理的兼容性。
速读
llama.cpp b9297 新增 NVFP4 MTP 缩放张量支持
相关源 (1)
- llama.cpp Releases · 2026/5/23 17:15:27https://github.com/ggml-org/llama.cpp/releases/tag/b9297