AWS 推出 MLLM-as-a-Judge 多模态评估器,用于图像到文本任务

AWS 在 Strands Evals 框架中引入多模态评估器,用 MLLM 作为裁判来验证图像到文本任务的输出质量。传统纯文本评估器无法判断描述是否忠实于原图,也无法验证发票金额是否与文档一致。

该方案利用多模态大模型同时理解图像和文本,对 caption 准确性、文档提取正确性、屏幕摘要完整性等进行自动评分。核心思路是将评估本身也变成多模态任务,而非依赖人工标注或纯文本指标。

对于构建视觉购物、文档理解、图表分析等系统的工程团队,这意味着可以自动化地做回归测试和质量门禁,减少人工审核成本。