NIPSOct, 2018

通过对抗正则化克服视觉问答中的语言先验

PDF
TL;DR本文提出了一种新颖的正则化方法，通过引入一个仅装载问题的对手模型并在视觉贡献约束之后训练视觉问答模型，取得了在多个基础模型上明显提高的效果，并在标准 VQA 任务中表现出少得多的准确率下降，从而降低了语言偏差的影响。
visual question answeringregularizationadversarial gamelanguage biasesvisual grounding
发现论文，激发创造
  • 通过对抗训练克服遥感视觉问答中的语言偏见

    本研究提出了一种新的框架来减少 Visual Question Answering 系统中的语言偏差，具体地，在原 VQA 框架中添加了对抗分支和两个正则化器以限制训练过程中的语言偏差，并提出了一种新的性能度量方法来评估语言偏差，实验结果表明该方法简单有效。

    Jun, 2023

  • 在视觉问答中量化和缓解语言先验问题

    本文针对视觉问答技术所面临的语言先验问题，设计了一个度量指标并提出了一种得分正则化模块，该模块采用成对学习方法，可以缓解语言先验问题，并提高骨干模型的性能。

    May, 2019

  • 通过自监督学习克服语言先验的视觉问答

    本研究介绍了一种自监督学习框架来解决视觉问答模型中固有数据偏差问题。我们利用自动生成的标签数据来平衡数据偏差，提出一种自监督辅助任务来减少语言先验的影响，从而提高 VQA 模型的准确性，无需引入额外的可视化注释。实验结果表明，我们的方法在常用基准 VQA-CP v2 上将整体准确性从 49.50％提高到 57.59％，可以将基于注释的方法的性能提高 16％，而无需使用外部注释。

    Dec, 2020

  • 针对视觉问答任务的对抗正则化：优势、缺陷和副作用

    本文研究了 Adversarial regularization 在 VQA 领域中的应用，发现它虽然取得了新的最优成果，但会出现不稳定的梯度和性能下降等问题。研究表明，在训练过程中逐渐引入正则化有助于缓解这些问题，但 Adversarial regularization 需要进一步完善才能成为 VQA 中可行的偏差缓解技术。

    Jun, 2019

  • 不要仅仅猜测；观察并回答：克服视觉问答的先验知识

    本文提出了一个新的 VQA 模型，其中通过引入不同的先验分布来防止模型仅仅依赖训练数据中的先验信息。该模型是 GVQA，与现有 VQA 模型相比，它具有更好的泛化性能和可解释性能。

    Dec, 2017

  • 使用视觉编码器减少视觉问答中的语言偏差

    该研究提出了一种新的模型不可知的问题编码器 VGQE，它可以降低 VQA 模型对语言偏见的依赖，并提高性能。

    Jul, 2020

  • 基于 VQA 的视觉基础方法的负面案例分析

    为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题，提出了利用视觉提示进行 VQA 模型性能优化的方法，但实现的改进并不是由于视觉提示的影响，而是正则化效应，为此提出了一种不需要外部数据注释的简单正则化方案。

    Apr, 2020

  • 通过区分表面相似的实例来克服视觉问答中的语言先验

    本文提出了一种新的视觉问答框架，通过定义相同问题类型但回答不同的训练实例作为 “表面相似的实例”，并在此基础上构建一个区分模块，达到了超越语言先验的最先进性能。

    Sep, 2022

  • 从词汇扰动中学习，以实现一致的视觉问答

    本文提出了一种使用模块化网络来改善视觉问答模型鲁棒性的方法，以及提出了一个包含大规模语言资源的低成本基准测试，我们的结果表明，对于 VQA 模型的训练和正则化，控制下的语言扰动是一种有用的但当前未充分利用的工具。

    Nov, 2020

  • 逆向视觉问答：一个新的基准和 VQA 诊断工具

    本篇文章提出了 iVQA 问题，利用变分模型来生成多样化、语法正确、与答案相关性较强的问题，并将其作为一种新型的视觉 - 语言理解基准测试。同时，还提出了使用强化学习框架来诊断现有 VQA 模型，揭示其内在缺陷的方法。

    Mar, 2018