May, 2022

重新思考视觉问答中的评估实践：针对分布外泛化的案例研究

HTML
PDF
TL;DR研究大规模多模态数据上预训练的 Vision-and-Language (V&L) 模型在视觉问答 (VQA) 任务中存在代表训练数据的样本分布偏移所造成的 OOD 性能问题，而模型学习的是解决基准测试而不是高层次的技能。本文通过考虑在不同设置下 (如分类和开放性文本生成) 两种预训练的 V&L 模型性能的全面评估，证明生成模型在大多数情况下对数据分布变化不太敏感，并在测试基准中表现更好。另外，我们发现多模态预训练可以提高大多数设置下的 OOD 性能。最后，本文重新审视了自动 VQA 评估度量的假设，并从经验上证明它们的严格性会反复惩罚模型的正确响应。
发现论文，激发创造
  • 在视觉问答中提升图像理解的作用：让 VQA 中的 V 更有意义

    该研究通过收集相关的图像，用于构建一个平衡的数据集（VQA v2.0），并在此基础上比较现有的 VQA 模型的表现，发现这些模型都受到了语言先验的影响。此外，该研究还提出了一种可解释性模型，它不仅可以回答问题，而且还可以通过提供一个相似但不同的图像来提高用户对其信任度。

    Dec, 2016

  • 在视觉问答中识别反例

    该研究引入了一个新的视觉问答任务，即识别对原问题产生不同回答的图像，并通过这一任务来评估现有的VQA模型。尽管作者的模型在这一任务上表现出色，但研究结果表明，现有的最先进VQA模型所学习的多模态表示对于这一任务的表现并没有显著贡献，这表明在VQA基准测试上表现良好并不意味着具备更广泛的视觉语义推理能力。

    Jun, 2018

  • MUTANT：一种用于视觉问答中超出分布泛化的训练范式

    本文提出MUTANT的训练方式，该方式不需要关于训练和测试答案分布特点的先验知识，并且在VQA-CP上实现了10.57%的准确度提升，为问答类问题中基于语义输入变异的OOD泛化开辟了新的道路。

    Sep, 2020

  • 超越基于问题偏见：对多模态快捷学习在视觉问答中的评估

    本文介绍了一个用于诊断视觉问答（VQA）模型中快速学习情况的评估方法，并提出了考虑问题和图片的多模态快捷方式问题。通过挖掘诸如词语和视觉元素的共现等规律等方法，首先在流行的VQA v2训练集中确定了可能的快速方式，然后引入基于我们的CounterExamples子集的VQA-CounterExamples（VQA-CE）评估协议进行了大规模研究，发现即使是最先进的模型也难以处理这个复杂的问题。

    Apr, 2021

  • 视觉问答中语言模态的实证研究

    本文通过一系列实验，探究语言模态对视觉问答模型在超出其学习领域的数据上的影响，提出简单的方法来减少模型对语言先验的依赖并在out-of-distribution测试集上提高性能。

    May, 2023

  • 生成式视觉问答

    本研究探讨了一种新的方法来创建先进的视觉问答（VQA）模型，可以在时间泛化上产生成功的结果。通过利用来自VQAv2和MS-COCO数据集的图像和标题，通过稳定扩散生成新图像。使用这个增强的数据集来测试七个基线和最新的VQA模型的组合。该研究的目的是调查几个成功的VQA模型的稳健性，评估它们对未来数据分布的性能。分析模型架构，识别改进时间分布偏移下的泛化能力的常见风格选择。这项研究突出了创建大规模未来偏移数据集的重要性，这些数据可以增强VQA模型的稳健性，使其未来的同行能够更好地适应时间分布的变化。

    Jul, 2023

  • 从图像到语言：对视觉问答（VQA）方法、挑战和机遇的关键分析

    通过调查Visual Question Answering（视觉问题回答）领域的复杂性，本研究提供了对VQA数据集和方法的详细分类，展示了该领域的最新趋势、挑战和改进方向，并将VQA推广到多模态问答，探索与VQA相关的任务，并提出了一系列未来研究的开放性问题。

    Nov, 2023

  • VQA-GEN: 一个面向领域泛化的视觉问答基准

    视觉问题回答（VQA）模型旨在展示视觉和文本推理能力，然而，由于缺乏综合的基准数据集，它们在实际应用中受到了限制。我们提出了VQA-GEN，这是第一个通过引入转换流程生成的多模态基准数据集，用于评估VQA在视觉和文本领域的转换能力。实验证明VQA-GEN数据集揭示了现有方法对于多模态转换的漏洞，验证了全面的多模态转换对于稳健的VQA泛化是至关重要的。在VQA-GEN上训练的模型展现了跨领域和领域内性能的提升，验证了VQA-GEN的价值。此外，我们分析了转换技术对模型泛化性能的重要性。

    Nov, 2023

  • 利用分类数据集和它们的语义层次对视觉语言模型进行开放式视觉问答基准测试

    通过提出创新的评估方法并修正现有的视觉问答基准，我们的研究旨在推进我们对文本生成视觉语言模型能力的理解，提出了一种基于著名视觉分类数据集的新型视觉问答基准，可以对文本生成视觉语言模型进行细粒度评估，并与辨别性视觉语言模型进行比较。我们建议利用标签空间的语义层次结构为细粒度分类任务中的粗略答案提出自动生成的后续问题，以改善评估模型预测的传统自然语言处理和基于语言模型的度量标准。我们进行了人工评估研究，基于这项研究，我们决定采用最终的度量标准。我们将我们的基准应用于一套视觉语言模型，并详细比较了它们在对象、行为和属性分类方面的能力。我们的研究为更精确、有意义的评估奠定基础，促进了视觉语言建模领域的有针对性进展。

    Feb, 2024

  • 面向生成视觉问答的灵活评估

    本研究解决了多模态大型语言模型在评估其多模态理解能力时的公平性和准确性问题。通过提出基于语义的评估方法，针对传统的视觉问答（VQA）评估的局限性，创建了评估VQA评估者的数据集（AVE），并设计了语义灵活的VQA评估者（SFVE），实验结果显示该评估方法明显优于现有的语义评估器。

    Aug, 2024