Oct, 2023

无法回答的视觉问答

TL;DR本研究旨在构建一个值得信赖的 AI 系统,通过为 Visual Question Answering(VQA)模型教授弃权无法回答问题的能力。研究通过提供一个名为 UNK-VQA 的全面数据集来填补这一研究空白,该数据集特别设计用于解决无法回答的问题。同时,通过对图像或问题进行有意的扰动,充分评估了多模式大型模型的零或少样本性能,并提出了解决这些无法回答问题的简单方法。这一数据集将为提升 VQA 模型的弃权能力提供一个有价值的基准,从而增加 AI 系统的可信度。