← 返回信息流
更新于 2026/06/17 19:31

llama.cpp b9689 发布,Metal 后端 concat 算子支持 f16/bf16

llama.cpp 发布 b9689 版本,核心变化是 Metal 后端 concat 算子扩展支持 f16、bf16、i8、i16、i64 等多种数据类型,此前仅支持 f32 和 i32。该 PR 通过模板化 kernel_concat 并添加类型特化(float/half/bfloat/int),配合类型相关的 pipeline getter 和 dispatch 逻辑实现。

f16 无条件启用,bf16 需设备支持 bfloat16。对 Apple Silicon 用户而言,混合精度推理中 concat 操作不再需要类型转换,减少显存带宽浪费。

同时 KleidiAI 构建因 PR #23780 暂时禁用。

速读

llama.cpp b9689 为 Metal 后端 concat 算子新增 f16/bf16 支持

相关源 (1)