← 返回信息流
更新于 2026/05/21 20:21

llama.cpp b9271 发布:投机解码跳过冗余 logit 计算

llama.cpp 发布 b9271 版本,核心改动是投机解码(MTP)场景下,对 draft 模型进行 follow-up decode 时跳过不必要的 logit 计算。

此前每次 follow-up decode 都会执行完整 logit 计算,但 draft 模型在该步骤并不需要 logits,造成冗余开销。本次提交通过使用 inp_out_ids 跳过该计算,减少投机解码的推理延迟。

该优化对本地推理场景中投机解码的吞吐提升有实际工程价值,尤其适合 Apple Silicon 和 CPU 等资源受限环境。

速读

llama.cpp b9271 跳过 draft 模型冗余 logit 计算,优化投机解码延迟

相关源 (1)