百万 Token 上下文推理：Together AI 详解 DeepSeek-V4 系统挑战

Together AI 发文分析 DeepSeek-V4 百万 token 上下文带来的推理系统挑战。文章基于 NVIDIA HGX B200 平台，探讨了压缩 KV 布局、前缀缓存、内核成熟度以及长上下文工作负载的端点配置等关键工程问题。

核心难点在于 KV Cache 的显存占用随上下文长度线性增长，需要从系统层面而非仅模型层面解决。