更新于 2026/06/15 19:24
llama.cpp b9654 新增解码后回调接口
llama.cpp 发布 b9654 版本,核心变更为新增 mtmd 后解码回调(post-decode callback),允许用户在模型完成解码后插入自定义逻辑。
该 PR #24645 由 llama.cpp/Qwen3.6-27B 辅助完成,为 mtmd(多 token 解码)流程提供了扩展点,便于实现流式后处理、日志或自定义采样逻辑。
本次发布未包含破坏性变更,同时 macOS KleidiAI 构建因 PR #23780 被暂时禁用。对依赖 llama.cpp 做推理服务或边缘部署的团队,该回调接口降低了定制解码管线的侵入成本。
速读
llama.cpp b9654 新增 mtmd 后解码回调接口
相关源 (1)
- llama.cpp Releases · 2026/6/15 19:24:18https://github.com/ggml-org/llama.cpp/releases/tag/b9654