NVIDIA 发布融合算子内核，MoE 训练吞吐提升 2.6 倍

NVIDIA 在开发者博客中公布了一套针对 MoE（混合专家）模型训练的高级融合算子内核。该方案通过将多个离散的 GPU kernel 合并为单一融合 kernel，显著减少显存带宽瓶颈和 kernel launch 开销。

技术核心在于对 MoE 前向与反向传播中的门控网络、专家路由、稀疏激活等环节进行算子级融合，并利用 CUDA 底层优化实现更高效的内存访问模式。实测表明，在相同硬件条件下训练吞吐最高可提升 2.6 倍。

这套融合内核可直接集成到主流训练框架中，对大规模 MoE 模型的训练效率提升具有工程实用价值。NVIDIA 同时提供了开源代码和集成指南。