NVIDIA 发布 Transformer 低精度训练优化指南

NVIDIA 官方博客发布技术指南，系统介绍如何对 Transformer 架构模型进行低精度训练优化。文章指出随着模型规模增长，训练加速直接决定团队实验迭代速度和可负担的模型上限。

技术核心围绕 FP8 等低精度格式的数值稳定性、梯度缩放策略、混合精度调度以及硬件（H100/B200）上的 Tensor Core 利用率展开。指南覆盖了从算子选择到通信压缩的工程实践，面向已有训练框架使用经验的工程师。

对自建训练栈的团队而言，这是一份可直接落地的低精度训练 checklist，有助于在保持模型收敛质量的前提下将训练吞吐提升 1.5–2 倍。