更新于 2026/05/21 13:44
llama.cpp b9265 修复 Hexagon DSP 上 SSM-Conv 大 prompt 推理问题
llama.cpp 发布 b9265 版本,核心变更集中在 Hexagon DSP 后端的 SSM-Conv 算子修复。针对大 prompt 场景下 gather 指令开销过高和 VTCM 分配问题,移除了不必要的 gather 操作并放宽了门控条件,同时新增了 prefill 阶段的 SSM-Conv 后端测试。
此外,Hex-RoPE 模块将 rope_cache_init 改为非内联函数,避免与 SSM-Conv 改动产生链接冲突。该版本无破坏性变更,属于面向 Qualcomm 边缘设备的推理优化补丁。
速读
llama.cpp b9265 修复 Hexagon DSP 上 SSM-Conv 大 prompt 推理问题
相关源 (1)
- llama.cpp Releases · 2026/5/21 13:44:55https://github.com/ggml-org/llama.cpp/releases/tag/b9265