← 返回信息流
更新于 2026/05/23 17:15

llama.cpp b9297 发布,新增 NVFP4 MTP 缩放张量支持

llama.cpp 发布 b9297 版本,核心变更为为 NVFP4 格式添加 MTP(Multi-Token Prediction)缩放张量支持,并关联 Qwen3.5 MTP 张量。该 PR 通过新增 NVFP4 MTP scale tensors 并链接 Qwen3.5 的 MTP 张量,使模型在低精度推理时能正确加载多 token 预测头的缩放参数,对齐空指针处理。

对在本地部署 Qwen3.5 并启用 MTP 投机解码的用户而言,此修复可避免因张量缺失导致的加载失败,提升低比特推理的兼容性。

速读

llama.cpp b9297 新增 NVFP4 MTP 缩放张量支持

相关源 (1)