从场景图自动生成对比集：探究 GQA 的组合一致性

ACLMar, 2021

从场景图自动生成对比集：探究 GQA 的组合一致性

Automatic Generation of Contrast Sets from Scene Graphs: Probing the Compositional Consistency of GQA

Yonatan Bitton, Gabriel Stanovsky, Roy Schwartz, Michael Elhadad

TL;DR本文介绍了一种新方法，利用语义输入表示生成对比集，以减少注释成本并评估模型在各种语义方面的性能，同时还可以应用于训练集以提高模型鲁棒性。

Abstract

Recent works have shown that supervised models often exploit data artifacts to achieve good test scores while their performance severely degrades on samples outside their training distribution. contrast sets (Gardneret al., 2020) quantify this phenomenon by perturbing test samples in a

contrast sets visual question answering semantic representation model performance robustness

发现论文，激发创造

场景图预测的生成组合增强

通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

Jul, 2020

通过对比集评估模型的局部决策边界

提出了一种新的 NLP 注释范例，通过创建对照集，意在消除测试数据中的系统性差距，从而更准确地评估模型的真实语言能力。创建 10 个多样化的 NLP 数据集的对照集并将其作为新的评估基准发布。

Apr, 2020

GQA：一个适用于真实世界视觉推理和组合问答的新数据集

GQA 是一个旨在解决以往 VQA 数据集的缺陷问题的实际可视化推理和组成问题回答数据集，它使用场景图结构创建了 2200 万个不同的推理问题，伴随着功能程序共同表示它们的语义，其中包括新的可调平滑技术来缓解问题偏差。贯穿数据集的还有一套新的度量标准，可以评估基本的质量，例如一致性、基础和可信性。

Feb, 2019

VQA 训练集是用于生成少样本汇集的自对弈环境

大型语言模型和大型视觉模型越来越能够解决组合推理任务，通过突破视觉问题回答基准测试的方法来衡量。然而，现有的解决方案通常涉及大规模预训练和微调数据集的精心构建，这可能代价高昂。本研究提出了一种技术，可以直接利用现有的训练集来构建以任务度量为奖励的计算环境。通过这种方式，我们通过集成外部信号来增强训练集。我们的实验证明了 Gemini 是如何学习使用自身或其他更小且专门的模型来迭代改善训练集上的性能的。我们的方法成功地推广并改善了对图表、信息图和文档视觉问答数据集的零样本表现。

May, 2024

利用场景图进行视觉问答的实证研究

本文提出了一种使用场景图和图网络进行视觉问答的方法，具有比当前最先进的视觉问答算法更清晰的架构，同时可以解释推理过程，展示了可解释的视觉问答的潜力。

Jul, 2019

Davidsonian 场景图：提升文本图像生成的细粒度评估可靠性

评估文本到图像模型的难点在于信实性，本研究提出了一种基于问答生成的评估框架，使用预训练模型自动生成问题和答案，并通过与基于视觉问答的答案比较来评分图像的一致性，同时引入 Davidsonian Scene Graph (DSG) 作为一个模块化的方法来解决问题，最终呈现了包含 1,060 个提示的开源评估基准。

Oct, 2023

理解场景图在视觉问答中的作用

本文通过实验探讨使用场景图（Scene Graphs）解决视觉问答（Visual Question Answering）任务。作者采用图像 + 问题架构研究场景图的各种生成技术，建议一套训练课程以利用人类注释和自动生成的场景图，并通过构建后期融合结构来学习多个图像表示。这份研究提供了使用场景图解决 VQA 的多方面研究，是其类型中的首次探索。

Jan, 2021

基于视觉常识的异构图对比学习

本研究通过引入视觉常识信息和提出异构图对比学习方法，改善视觉推理任务，使模型更专注于具有辨别力的对象和相关的视觉常识属性，并通过图关系网络推理同质边之间的关联和异质边之间的相似性，从而提高了模型的信息传输效果。在四个基准测试上的广泛实验表明，本方法显著改进了七个具有代表性的视觉问答模型，证明了它的有效性和泛化性。

Nov, 2023

针对强鲁棒性视觉问答的反事实样本生成与训练

介绍了一个新的模型 - 不可知模型 Counterfactual Samples Synthesizing and Training（CSST）模型，可以消除 VQA 模型的语言偏见，并使模型变得更加视觉可解释和对语言变化更敏感，并在所有 OOD 基准测试上取得了创纪录的表现。

Oct, 2021

走向因果 VQA：通过不变量和协变语义编辑揭示和减少虚假相关

本文讨论了一种新的方法，可以分析和衡量 Visual Question Answering 模型的稳健性，同时提出了使模型更具鲁棒性的方法，包括自动化的语义图像操作，和测试模型预测的一致性，生成合成数据来解决这些问题，实验结果表明，通过我们编辑的数据，模型的不一致预测显著减少，对于各种有挑战性的计数问题，我们对三种不同类型的最先进的 VQA 模型进行了分析，最终结果同样能够很好地应用于实际误差案例中，从而实现整体性能的提高。

Dec, 2019