论文揭示深层 Transformer 存在「深度诅咒」, 深层表示趋于退化

arXiv 论文《The Curse of Depth in Large Language Models》指出, 随着 Transformer 层数增加, 深层隐藏表示的秩和多样性持续下降, 模型表达能力反而退化。作者通过理论分析和实验验证, 发现深层表示的奇异值谱迅速坍缩, 导致有效维度降低。

提出 Depth-Conditioned Layer-wise Regularization (DCLR) 方法, 在训练中对不同深度施加差异化正则化, 缓解表示退化。实验表明 DCLR 在多个主流 LLM 架构上提升了困惑度和下游任务性能, 为深层模型训练提供了新的正则化思路。