NVIDIA Megatron 集成 Muon 优化器加速大模型训练

NVIDIA 发布博客，宣布在 Megatron 训练框架中集成 Muon 等新兴高阶优化器，用于加速大语言模型训练。Muon 已用于 Kimi K2 和 GLM-5 等开源模型。

Muon（MomentUm Orthogonalized by Newton-Schulz）通过牛顿-舒尔茨迭代对动量进行正交化，相比传统 Adam 可显著减少训练步数。Shampoo 等二阶方法也已在该框架中得到支持。

对训练框架开发者而言，这意味着 Megatron 在梯度优化层面提供了更多选择，有望降低大规模预训练的计算成本，尤其适合追求训练效率的团队。