NVIDIA 用主机内存卸载缓解 JAX 大模型训练 HBM 瓶颈

JAX 大模型训练中模型权重、梯度、优化器状态和中间激活不断争夺 GPU HBM，显存容量成为扩展的主要瓶颈。NVIDIA 提出主机内存卸载方案，将部分数据暂存到 CPU 内存，按需换入 GPU。

方案核心是异步流水线化的数据移动策略，利用 NVLink 和 PCIe 带宽差异，在计算与传输之间重叠调度，减少 HBM 压力。实验表明该方法在保持训练吞吐的同时，支持更大模型或更大批次。

该技术对依赖 JAX 生态的团队有直接参考价值，尤其当 GPU 显存受限时，主机卸载提供了一条无需修改模型架构的扩展路径。