Nov, 2023

VQA-GEN: 一个面向领域泛化的视觉问答基准

PDF
TL;DR视觉问题回答（VQA）模型旨在展示视觉和文本推理能力，然而，由于缺乏综合的基准数据集，它们在实际应用中受到了限制。我们提出了 VQA-GEN，这是第一个通过引入转换流程生成的多模态基准数据集，用于评估 VQA 在视觉和文本领域的转换能力。实验证明 VQA-GEN 数据集揭示了现有方法对于多模态转换的漏洞，验证了全面的多模态转换对于稳健的 VQA 泛化是至关重要的。在 VQA-GEN 上训练的模型展现了跨领域和领域内性能的提升，验证了 VQA-GEN 的价值。此外，我们分析了转换技术对模型泛化性能的重要性。
发现论文，激发创造
  • 生成式视觉问答

    本研究探讨了一种新的方法来创建先进的视觉问答（VQA）模型，可以在时间泛化上产生成功的结果。通过利用来自 VQAv2 和 MS-COCO 数据集的图像和标题，通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的 VQA 模型的组合。该研究的目的是调查几个成功的 VQA 模型的稳健性，评估它们对未来数据分布的性能。分析模型架构，识别改进时间分布偏移下的泛化能力的常见风格选择。这项研究突出了创建大规模未来偏移数据集的重要性，这些数据可以增强 VQA 模型的稳健性，使其未来的同行能够更好地适应时间分布的变化。

    Jul, 2023

  • 通向万能视觉问答模型之路：回答它们的全部问题！

    该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的 VQA 算法，能够在这两个领域上达到或超越现有算法的水平。

    Mar, 2019

  • 无目标标签的多样数据集和方法的领域通用视觉问答模型

    本研究通过量化视觉问答（VQA）数据集在视觉和文本空间上的领域漂移，构建并测试不同家族的 VQA 方法（经典的两流，Transformer 和神经符号方法）的鲁棒性以及现有的领域自适应方法的适用性，并设计了一种新的跨越 VQA 领域差距的自适应方法。

    Mar, 2021

  • 基于多模态领域自适应的开放式视觉问答

    本文提出了一种新颖的 VQA 有监督多模态域自适应方法，通过考虑所有模态在一起以及单独处理每个单独模态来对齐源域和目标域的数据分布，以学习跨不同领域和模态的联合特征嵌入，通过在 VQA 2.0 和 VizWhiz 数据集上进行广泛实验，表明了我们所提出方法在这个具有挑战性的 VQA 域自适应设置中胜过了现有的最先进的方法。

    Nov, 2019

  • FashionVQA：一种特定领域的视觉问答系统

    该论文训练了一个视觉问答系统，使用多种模态的数据来回答关于时尚照片中服装的自然语言问题。他们使用大规模的领域特定的多模态数据集来训练该系统，该数据集使用模板自动生成，模型的最高准确性超过了人类专家水平。

    Aug, 2022

  • 关于证据的一般价值和双语场景文本视觉问答

    该研究提出了一个多语言数据集，旨在解决视觉问题回答方法的泛化问题，利用基于推理的度量方法来鼓励泛化，并通过提供实验证据表明数据集的价值。

    Feb, 2020

  • 重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

    研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。

    May, 2022

  • CVQA：跨文化多语言视觉问答基准

    构建了 CVQA，一个新的多元文化多语言视觉问答基准，覆盖了 28 个国家的文化驱动图像和问题，包括 26 种语言和 11 种文字，共提供了 9k 个问题。针对 CVQA 对几种多模态大型语言模型进行了基准测试，显示出该数据集对当前最先进的模型具有挑战性。这一基准测试可以作为评估多模态模型的文化能力和偏见的探测套件，并希望鼓励更多研究努力来增加该领域中的文化意识和语言多样性。

    Jun, 2024

  • 视觉问答：方法与数据集综述

    本文针对视觉问答任务进行综述，比较传统的视觉元素和常识知识融合的方法。并对数据集进行了评估，结合 Visual Genome 数据集中的图像结构注释研究了不同复杂度的问答对。最后讨论了未来发展方向，重点关注结构化知识库和自然语言处理模型的连接。

    Jul, 2016

  • 玫瑰是红的，紫罗兰是蓝的…… 但 VQA 应该期望它们出现吗？

    本文提出了 GQA-OOD 基准来评估视觉问答模型的推理能力，旨在解决现有基准存在的数据集偏差和评估方法的不足，并通过大规模实验验证了现有模型在处理罕见概念时的不足，提出了减少偏差的技术用于未来研究。

    Jun, 2020