DAS 推测解码将 RL 后训练 rollout 加速 50%

Together AI 提出 Distribution-Aware Speculative Decoding (DAS)，针对强化学习后训练中 rollout 阶段的瓶颈问题。传统推测解码假设目标分布与草稿分布一致，但在 RL 中策略持续更新，分布漂移导致推测命中率下降。

DAS 通过在线估计目标分布与草稿分布的 KL 散度，自适应调整推测窗口长度和接受阈值，在分布漂移时主动缩短推测步数以减少浪费。实验表明，在多种 RL 后训练场景下，DAS 将 rollout 吞吐提升最高 50%，且不降低奖励质量。