NVIDIA BioNeMo 用上下文并行突破单 GPU 显存瓶颈

NVIDIA 发布 BioNeMo 框架的上下文并行（Context Parallelism）方案，将生物分子建模从单 GPU 显存限制中解放出来。过去研究人员只能将蛋白质拆成碎片分别折叠，现在可零样本处理完整大蛋白复合体。

核心思路是将长序列沿序列维度切分到多个 GPU，每个 GPU 只计算自己分到的 token 子集，通过通信传递注意力计算的中间结果。该方案基于 NVIDIA NeMo 的序列并行原语，针对 ESM-2 等蛋白质语言模型做了定制优化。

对计算生物学领域而言，这相当于把大语言模型的分布式训练技术迁移到蛋白质折叠场景，有望加速药物靶点发现和蛋白质设计工作流。