← 返回信息流
更新于 2026/05/17 22:54

llama.cpp b9200 发布:MTP 推理中避免 Prompt Decode 阶段 Logits 拷贝

llama.cpp 发布 b9200 版本,核心优化是 Multi-Token Prediction (MTP) 推理时 Prompt Decode 阶段不再拷贝 logits 数据。此前 MTP 的 prompt decode 会额外复制一份 logits,造成显存带宽浪费;本次提交通过调整计算图输出设置,让 t_h_pre_norm 直接作为输出节点,避免了冗余拷贝。

该改动对长 prompt 场景下的 MTP 推理吞吐有明显提升。同时该版本继续提供 macOS (Apple Silicon/Intel)、Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL)、Android 等多平台二进制包。

速读

llama.cpp b9200 优化 MTP 推理,避免 prompt decode 阶段 logits 拷贝

相关源 (1)