← 返回信息流
更新于 2026/05/08 15:59

NVIDIA Dynamo 新增流式 Token 与工具调用,支持多轮 Agent 交互

NVIDIA Dynamo 推理服务框架新增流式 Token 与工具调用支持,使多轮 Agent 交互中助手轮次可穿插推理与多次工具调用。

核心在于推理重放(reasoning replay)机制:不同模型和轮次对推理内容的保留策略不同,部分推理需保留、部分需丢弃,由推理引擎负责实现这一更富表达力的交互模式。

对构建 Agent 系统的工程团队而言,Dynamo 在服务框架层面原生支持结构化多轮对话,降低了自研推理调度与上下文管理的复杂度。

速读

NVIDIA Dynamo 支持流式 Token 与工具调用的多轮 Agent 交互

相关源 (1)