ACLMar, 2023

FVQA 2.0：将对抗样本引入基于事实的视觉问答

PDF
TL;DRFVQA 2.0 数据集添加了敌对测试问题，以解决此数据集高度不平衡及集中在其相关知识图谱的部分问题。实验结果表明，原始数据集训练的系统容易受到敌对样本的影响，但通过无需人工标记的增强方法可以减少此类漏洞。
fvqa datasetcommon sense knowledge graphsimbalanced datasetadversarial test questionsvulnerability reduction
发现论文，激发创造
  • 基于事实的视觉问答系统

    介绍了一种需要外部信息支持、对图像进行深层次推理的视觉问答数据集 FVQA，并在该数据集上评估了多种基线模型，提出了一种新的模型能够基于支持事实对图像进行推理。

    Jun, 2016

  • 人类对抗视觉问答

    通过 Adversarial VQA 测试，发现基于现有的 Visual Question Answering 模型的表现还有很大的提升空间，提出了未来研究方向，并希望 Adversarial VQA 测试能帮助推动 VQA 领域的进步和发展。

    Jun, 2021

  • 对抗性 VQA：评估 VQA 模型鲁棒性的新基准

    通过引入 Adversarial VQA 作为一个新的大型 VQA 基准测试，我们发现非专业注释者可以轻松成功攻击 SOTA VQA 模型，而预训练模型和对抗训练方法在新基准测试中效果远不如 VQA v2 基准测试，并且我们的数据集可有效提高模型在其他稳健性 VQA 基准测试中的性能。

    Jun, 2021

  • 通过对抗训练克服遥感视觉问答中的语言偏见

    本研究提出了一种新的框架来减少 Visual Question Answering 系统中的语言偏差，具体地，在原 VQA 框架中添加了对抗分支和两个正则化器以限制训练过程中的语言偏差，并提出了一种新的性能度量方法来评估语言偏差，实验结果表明该方法简单有效。

    Jun, 2023

  • 通过对抗正则化克服视觉问答中的语言先验

    本文提出了一种新颖的正则化方法，通过引入一个仅装载问题的对手模型并在视觉贡献约束之后训练视觉问答模型，取得了在多个基础模型上明显提高的效果，并在标准 VQA 任务中表现出少得多的准确率下降，从而降低了语言偏差的影响。

    Oct, 2018

  • 视觉问答的语义等效对抗数据增强

    通过生成对抗样本，解决语义结构中图片翻转等处理困难的问题，提高了视觉问答 (Visual Question Answering) 模型的性能和抗对抗攻击的能力。

    Jul, 2020

  • 通向万能视觉问答模型之路：回答它们的全部问题！

    该论文研究了视觉问答算法，发现现有算法在自然图像理解和推理两个领域上不能很好地综合运用。作者提出了一种新的 VQA 算法，能够在这两个领域上达到或超越现有算法的水平。

    Mar, 2019

  • 开箱即用：使用图卷积神经网络进行事实视觉问答推理

    针对视觉问答中存在的通用知识推理难题，提出一种基于事实的视觉问答任务，并探索了利用实体图和图卷积网络联合推理来解决问题，相对于现有算法在准确率上有显著提高。

    Nov, 2018

  • 从信息查询问题进行事实验证

    本文介绍了一个大规模的事实验证数据集 FAVIQ，并指出目前最先进的模型并不能完全解决该任务，而基于该数据的训练有助于事实核查，能在专业事实核查方面胜过目前广泛使用的数据集 FEVER 或领域内数据，为自然语言理解提供了一个具有挑战性的基准。

    Jul, 2021

  • Mucko: 基于事实的视觉问答的多层交叉模态知识推理

    本文提出了一种多模态异构图神经网络来解决基于事实的视觉问答问题，该模型通过逐层的图卷积网络对问题相关证据进行迭代式推理，并在多种数据集上获得了最新的最佳成绩。

    Jun, 2020