← 返回信息流
更新于 2026/04/20 11:51

TensorRT-LLM v1.2.1 修复 KV Cache 损坏问题

NVIDIA 发布 TensorRT-LLM v1.2.1 补丁版本。核心修复了一项导致 KV Cache 损坏的问题(issue #12770),该问题可能影响长序列推理的正确性。

基础设施方面,升级了 xgrammar 和 flashinfer 依赖(#12811)。无破坏性变更,属于稳定性修复小版本。

速读

TensorRT-LLM v1.2.1 修复 KV Cache 损坏并升级 xgrammar 与 flashinfer 依赖

相关源 (1)