AWS 联合 vLLM 打造实时语音转写服务

AWS 发布基于 SageMaker AI 和 vLLM 的实时语音应用方案，通过 WebSocket 持久连接实现音频流边传边转写，消除传统请求-响应模式需等待完整音频上传的延迟瓶颈。

技术核心在于将 vLLM 的连续批处理与流式解码能力与 SageMaker 推理端点结合，音频分片到达即触发推理，转录文本逐 token 推回客户端。方案支持自定义语音模型部署，兼容 WebSocket 与 Server-Sent Events 两种流式协议。

对构建实时语音助手、直播字幕、呼叫中心分析等场景的工程团队而言，该方案提供了可直接复用的参考架构，降低了自建流式推理管道的复杂度。