更新于 2026/05/20 21:38
llama.cpp 引入 PDL 技术,Hopper GPU 推理性能再提升
llama.cpp 发布 b9254 版本,核心变化是引入 Programmatic Dependent Launch (PDL) 技术,针对 NVIDIA Hopper 及更新架构 GPU 优化推理性能。PDL 通过精细控制 kernel 启动依赖与同步点,实现 kernel 间执行重叠,减少 GPU 空闲等待。
该版本为 mul_mat_vec_q、rms_norm_f32、flash_attn 等数十个核心 kernel 注册了 PDL 启动与同步屏障,并新增 GGML_CUDA_PDL 命令行开关以控制是否启用。同时为 Ada 及更早架构做了编译兼容性保护,确保 PDL 在不支持的硬件上无副作用。
速读
llama.cpp b9254 为 Hopper GPU 引入 PDL 以重叠 kernel 执行
相关源 (1)
- llama.cpp Releases · 2026/5/20 21:38:57https://github.com/ggml-org/llama.cpp/releases/tag/b9254