RTX 5080 + RTX 3090 异构推理: Qwen 3.6 27B Q8 达 80+ tok/s

开发者将 RTX 5080 (24GB GDDR7) 与 RTX 3090 (24GB GDDR6X) 通过 NVLink 桥接组成异构推理集群,在 llama.cpp 上运行 Qwen 3.6 27B Q8 模型,实测达到 80+ tok/s 的生成速度。核心在于利用 llama.cpp 的 GPU 分片能力,将模型张量按层或按行拆分到两张不同代际的显卡上,并通过调整 batch size 和 KV cache 分配来平衡 PCIe 带宽瓶颈。

RTX 5080 的 Blackwell 架构在 FP8/INT4 量化路径上也有额外优势。该方案为预算有限的开发者提供了一条低成本高吞吐的本地推理路径,也展示了 llama.cpp 在多代 GPU 异构场景下的成熟度。

NVLink 在跨代组合中的实际收益仍需进一步测试。