更新于 2026/05/21 20:21
llama.cpp b9271 发布:投机解码跳过冗余 logit 计算
llama.cpp 发布 b9271 版本,核心改动是投机解码(MTP)场景下,对 draft 模型进行 follow-up decode 时跳过不必要的 logit 计算。
此前每次 follow-up decode 都会执行完整 logit 计算,但 draft 模型在该步骤并不需要 logits,造成冗余开销。本次提交通过使用 inp_out_ids 跳过该计算,减少投机解码的推理延迟。
该优化对本地推理场景中投机解码的吞吐提升有实际工程价值,尤其适合 Apple Silicon 和 CPU 等资源受限环境。
速读
llama.cpp b9271 跳过 draft 模型冗余 logit 计算,优化投机解码延迟
相关源 (1)
- llama.cpp Releases · 2026/5/21 20:21:20https://github.com/ggml-org/llama.cpp/releases/tag/b9271