SageMaker AI 推出容器镜像缓存，扩缩延迟降低 2 倍

AWS 宣布 SageMaker AI 推理新增容器镜像缓存功能，在模型扩缩事件中端到端延迟最高降低 2 倍。这是其加速扩缩优化路线的最新进展。

核心思路是在推理实例启动时缓存已拉取的容器镜像层，避免重复从镜像仓库下载。对于生成式 AI 模型这类大镜像场景，镜像拉取常占扩缩延迟大头，缓存后显著缩短冷启动时间。

对高频扩缩的生产推理集群而言，该功能可直接降低弹性的响应延迟，提升资源利用率。用户无需修改现有推理代码即可受益。