← 返回信息流
更新于 2026/05/20 21:38

llama.cpp 引入 PDL 技术,Hopper GPU 推理性能再提升

llama.cpp 发布 b9254 版本,核心变化是引入 Programmatic Dependent Launch (PDL) 技术,针对 NVIDIA Hopper 及更新架构 GPU 优化推理性能。PDL 通过精细控制 kernel 启动依赖与同步点,实现 kernel 间执行重叠,减少 GPU 空闲等待。

该版本为 mul_mat_vec_q、rms_norm_f32、flash_attn 等数十个核心 kernel 注册了 PDL 启动与同步屏障,并新增 GGML_CUDA_PDL 命令行开关以控制是否启用。同时为 Ada 及更早架构做了编译兼容性保护,确保 PDL 在不支持的硬件上无副作用。

速读

llama.cpp b9254 为 Hopper GPU 引入 PDL 以重叠 kernel 执行

相关源 (1)