← 返回信息流
更新于 2026/05/20 03:04

llama.cpp b9235 发布:推测解码逻辑大清理与参数文档更新

llama.cpp 发布 b9235 版本,核心是 MTP(Multi-Token Prediction)推测解码模块的代码清理与修复。主要变更包括:禁用部分回滚场景下 recurrent memory 的 equal splits;重新启用 p-min 与 MTP draft 的组合、ngram spec 与 RS rollback 的组合;修复 ngram + draft 混合配置下的接受逻辑;统一 token 与 embd 混合 batch 的图复用。

此外为每种推测实现添加了构造器日志,并更新了 --spec-default 参数文档,默认 draft.n_max 改为 3。本次无破坏性变更。

速读

llama.cpp b9235 清理推测解码逻辑并更新文档

相关源 (1)