ThunderAgent 以程序感知调度消除 KV 抖动,Agent 推理提速 2 倍

Together AI 发布 ThunderAgent,一个面向 Agent 推理的程序感知调度器。它将每个 Agent 工作流视为可调度的程序,通过消除 KV cache 抖动,在单节点上实现超过 2 倍的吞吐提升。

其核心思路是把 Agent 工作流抽象为可调度程序,让调度器能预判并复用 KV cache,避免频繁的缓存驱逐与重算。官方称多节点扩展接近线性,适合大规模合成数据生成场景。

对推理引擎工程而言,这代表 KV cache 管理从单请求粒度上升到工作流粒度,为 Agent 化推理的规模化部署提供了新的调度范式。