Together AI 发布高效推理基础研究，覆盖 PagedAttention 与推测解码

Together AI 发表博客，总结其在高效推理方面的多项基础研究成果。技术核心包括：PagedAttention 通过分页管理 KV Cache 消除显存碎片，提升批处理吞吐；推测解码（Speculative Decoding）利用小模型草稿加速大模型生成；FlashAttention 通过 IO 感知算法减少 HBM 读写；以及 MoE 路由优化和 FP8 量化等方向。

这些工作共同支撑了 Together AI 生产级推理服务的性能。