← 返回信息流
更新于 2026/04/28 00:00

LLM 推理两阶段:Prefill 并行读提示,Decode 逐 Token 生成

Redis 官方博客详解 LLM 推理的两阶段:Prefill 阶段一次性并行处理整个输入提示,计算所有 Key/Value 并填充 KV Cache;Decode 阶段逐 Token 自回归生成,每个新 Token 依赖之前所有 Token 的 KV Cache,是推理延迟的主要瓶颈。文章指出两阶段对计算和内存带宽的需求截然不同,Prefill 受计算能力限制,Decode 则受内存带宽限制,因此需要不同的优化策略和硬件调度。

速读

LLM 推理分 Prefill(并行读提示)和 Decode(逐 Token 生成)两阶段,性能瓶颈不同

相关源 (1)