更新于 2026/06/13 18:19
llama.cpp b9626 发布,新增 Cohere2-MoE 架构支持
llama.cpp 发布 b9626 版本,核心变更为新增 cohere2-MoE 架构支持。该架构采用 MoE 设计,包含共享专家与路由专家,并以 (routed+shared)*0.5 方式合并输出。
实现细节包括:移除冗余 gating_func 检查、修正 FFN 查找优先使用 prefix_dense_intermediate_size、修复滑动窗口模式与 transformers 兼容性问题。同时将 tokenizer 类型统一为 tiny_aya,并新增对 LayerNorm 及零偏置张量的支持。
该版本还修复了 MTP 推理失败问题,改用 iSWA 方案,并更新了模型保存器支持列表。macOS Apple Silicon 的 KleidiAI 加速版本因 PR #23780 问题暂时禁用。
速读
llama.cpp b9626 新增 Cohere2-MoE 架构支持
相关源 (1)
- llama.cpp Releases · 2026/6/13 18:19:28https://github.com/ggml-org/llama.cpp/releases/tag/b9626