更新于 2026/05/20 03:04
llama.cpp b9235 发布:推测解码逻辑大清理与参数文档更新
llama.cpp 发布 b9235 版本,核心是 MTP(Multi-Token Prediction)推测解码模块的代码清理与修复。主要变更包括:禁用部分回滚场景下 recurrent memory 的 equal splits;重新启用 p-min 与 MTP draft 的组合、ngram spec 与 RS rollback 的组合;修复 ngram + draft 混合配置下的接受逻辑;统一 token 与 embd 混合 batch 的图复用。
此外为每种推测实现添加了构造器日志,并更新了 --spec-default 参数文档,默认 draft.n_max 改为 3。本次无破坏性变更。
速读
llama.cpp b9235 清理推测解码逻辑并更新文档
相关源 (1)
- llama.cpp Releases · 2026/5/20 03:04:33https://github.com/ggml-org/llama.cpp/releases/tag/b9235