更新于 2026/06/17 19:31
llama.cpp b9689 发布,Metal 后端 concat 算子支持 f16/bf16
llama.cpp 发布 b9689 版本,核心变化是 Metal 后端 concat 算子扩展支持 f16、bf16、i8、i16、i64 等多种数据类型,此前仅支持 f32 和 i32。该 PR 通过模板化 kernel_concat 并添加类型特化(float/half/bfloat/int),配合类型相关的 pipeline getter 和 dispatch 逻辑实现。
f16 无条件启用,bf16 需设备支持 bfloat16。对 Apple Silicon 用户而言,混合精度推理中 concat 操作不再需要类型转换,减少显存带宽浪费。
同时 KleidiAI 构建因 PR #23780 暂时禁用。
速读
llama.cpp b9689 为 Metal 后端 concat 算子新增 f16/bf16 支持
相关源 (1)
- llama.cpp Releases · 2026/6/17 19:31:23https://github.com/ggml-org/llama.cpp/releases/tag/b9689