一行字典缓存让多模态推理提速超 10%

Modal 团队发现多模态推理中频繁调用 tokenizer 的 encode 方法会阻塞 GPU 流水线，导致吞吐下降。他们通过一个简单的 Python 字典对 encode 结果做 LRU 缓存，将重复的文本‑token 映射跳过，在 Llama 3.2 11B 等多模态模型上实现了超过 10% 的端到端吞吐提升。

该优化无需修改模型权重或架构，仅改动几行代码即可落地。