更新于 2026/06/19 07:33
llama.cpp 服务端合并 slot 选择逻辑,统一接口管理
llama.cpp 发布 b9718 版本,核心变更是将 get_slot_by_id 逻辑合并入 get_available_slot,使 slot 选择由单一函数统一处理。当请求特定 slot id 时,LCP 相似度检查仍会执行以确保 prompt cache 正确更新。
该重构由 AI 辅助完成(pi:llama.cpp/Qwen3.6-27B),减少了代码分支和状态管理复杂度。对运行多用户推理服务的开发者而言,slot 分配行为更可预测,cache 命中率维护更稳定。
速读
llama.cpp b9718 统一 slot 选择入口,简化服务端调度逻辑
相关源 (1)
- llama.cpp Releases · 2026/6/19 07:33:07https://github.com/ggml-org/llama.cpp/releases/tag/b9718