KV共享与压缩注意力：开源LLM架构最新进展综述

Sebastian Raschka 发表长文综述开源 LLM 架构最新进展，聚焦 KV 共享（KV Sharing）、多头组合注意力（mHC）和压缩注意力三大方向。文章以 Gemma 4、DeepSeek V4 等新模型为例，分析这些技术如何降低长上下文推理的显存与计算成本。

KV 共享通过跨层复用 Key/Value 减少缓存占用；mHC 将多个注意力头合并为组合表示；压缩注意力则对长序列进行信息压缩后送入注意力层。这些方法在保持模型质量的同时显著提升长序列推理效率。