← 返回信息流
更新于 2026/06/19 07:33

llama.cpp 服务端合并 slot 选择逻辑,统一接口管理

llama.cpp 发布 b9718 版本,核心变更是将 get_slot_by_id 逻辑合并入 get_available_slot,使 slot 选择由单一函数统一处理。当请求特定 slot id 时,LCP 相似度检查仍会执行以确保 prompt cache 正确更新。

该重构由 AI 辅助完成(pi:llama.cpp/Qwen3.6-27B),减少了代码分支和状态管理复杂度。对运行多用户推理服务的开发者而言,slot 分配行为更可预测,cache 命中率维护更稳定。

速读

llama.cpp b9718 统一 slot 选择入口,简化服务端调度逻辑

相关源 (1)