推测解码原理剖析：何时加速、何时失效及推理栈集成路径

Redis 官方博客发表长文，系统讲解推测解码（Speculative Decoding）的工作原理、适用场景及在推理栈中的集成方式。文章指出，语义缓存只能处理重复查询，而推测解码通过一个小草稿模型快速生成多个候选 token，再由大模型并行验证，可在不牺牲质量的前提下降低延迟。

文章还讨论了草稿模型的选择策略、接受率对加速比的影响，以及何时该用、何时不该用推测解码——例如在 batch size 较大或草稿模型与目标模型分布差异过大时收益会显著下降。