Finbarr Timbers 复盘前沿模型后训练配方

Finbarr Timbers 在 Interconnects 访谈中系统梳理了前沿大模型的后训练（post-training）技术路线，涵盖 RLHF、DPO、GRPO 等对齐方法的实际效果与工程取舍。

访谈核心围绕后训练阶段的训练方法选择：RLHF 仍是主流但成本高昂，DPO 及其变体在稳定性上有所改进，GRPO 等无 critic 方法降低了资源门槛。Timbers 还讨论了奖励模型设计、数据配比、多轮迭代等工程细节，指出后训练正从"可选步骤"变为模型能力的核心瓶颈。

对于自建训练框架的工程师而言，这篇访谈提供了当前业界后训练配方的全景式参考，有助于理解不同对齐方法在收敛速度、奖励过拟合、泛化能力上的实际差异。