← 返回信息流
更新于 2026/06/15 19:24

llama.cpp b9654 新增解码后回调接口

llama.cpp 发布 b9654 版本,核心变更为新增 mtmd 后解码回调(post-decode callback),允许用户在模型完成解码后插入自定义逻辑。

该 PR #24645 由 llama.cpp/Qwen3.6-27B 辅助完成,为 mtmd(多 token 解码)流程提供了扩展点,便于实现流式后处理、日志或自定义采样逻辑。

本次发布未包含破坏性变更,同时 macOS KleidiAI 构建因 PR #23780 被暂时禁用。对依赖 llama.cpp 做推理服务或边缘部署的团队,该回调接口降低了定制解码管线的侵入成本。

速读

llama.cpp b9654 新增 mtmd 后解码回调接口

相关源 (1)