FSDP+Ray 实现千卡级分布式训练，PyTorch 原生方案再进化

Anyscale 发布技术博客，详细阐述如何将 PyTorch 的 Fully Sharded Data Parallel (FSDP) 与 Ray 分布式调度框架结合，支撑千卡级大模型训练。文章给出了从单机到多机 FSDP 的完整工程实践路径。

核心思路是利用 Ray 的弹性调度与对象存储能力，替代原生 PyTorch 的分布式通信后端，解决 FSDP 在跨节点场景下的通信瓶颈与容错问题。Ray 的 Placement Group 机制可精细控制 GPU 拓扑亲和性，减少跨机通信开销。

这套方案让工程师无需修改模型代码即可将 FSDP 训练扩展到数百 GPU，同时获得 Ray 原生的故障恢复与资源弹性伸缩能力。对于自建训练集群的团队，这是一份可直接落地的工程参考。