Together AI 发布编码 Agent 推理基准，吞吐量超 TensorRT-LLM 31%

Together AI 发布面向编码 Agent 的真实推理基准测试。在饱和负载下，其推理引擎的 TPS（每秒 Token 数）比 TensorRT-LLM 高 31%，TTFT（首 Token 延迟）改善 2 倍，且成本仅为 Claude Opus 4.6 的 24%。

该基准聚焦 Agent 场景下的长上下文、高并发推理压力，揭示了传统推理基准在 Agent 工作负载下的局限性。