ACLJun, 2019

针对视觉问答任务的对抗正则化：优势、缺陷和副作用

PDF
TL;DR本文研究了 Adversarial regularization 在 VQA 领域中的应用，发现它虽然取得了新的最优成果，但会出现不稳定的梯度和性能下降等问题。研究表明，在训练过程中逐渐引入正则化有助于缓解这些问题，但 Adversarial regularization 需要进一步完善才能成为 VQA 中可行的偏差缓解技术。
发现论文，激发创造
  • 通过对抗正则化克服视觉问答中的语言先验

    本文提出了一种新颖的正则化方法，通过引入一个仅装载问题的对手模型并在视觉贡献约束之后训练视觉问答模型，取得了在多个基础模型上明显提高的效果，并在标准 VQA 任务中表现出少得多的准确率下降，从而降低了语言偏差的影响。

    Oct, 2018

  • 通过对抗训练克服遥感视觉问答中的语言偏见

    本研究提出了一种新的框架来减少 Visual Question Answering 系统中的语言偏差，具体地，在原 VQA 框架中添加了对抗分支和两个正则化器以限制训练过程中的语言偏差，并提出了一种新的性能度量方法来评估语言偏差，实验结果表明该方法简单有效。

    Jun, 2023

  • 用正确的图像区域回答问题：一种视觉关注正则化方法

    本文提出一种名为 AttReg 的视觉关注正则化方法，用于更好地在 VQA 中进行视觉基础。AttReg 首先确定对于问题回答而言关键的图像区域，然后利用基于掩蔽的学习方案来规范化视觉关注，使其更专注于这些被忽略的关键区域。在三个基准数据集上的广泛实验证明，AttReg 的有效性，此外，在将 AttReg 整合到强大的基线 LMH 中时，我们的方法在 VQA-CP v2 基准数据集上实现了 60.00％的新最高准确度，与具有绝对性能增益的 7.01％。

    Feb, 2021

  • 基于 VQA 的视觉基础方法的负面案例分析

    为解决当前 VQA 方法依赖于数据集偏见和统计相关性的问题，提出了利用视觉提示进行 VQA 模型性能优化的方法，但实现的改进并不是由于视觉提示的影响，而是正则化效应，为此提出了一种不需要外部数据注释的简单正则化方案。

    Apr, 2020

  • 人类对抗视觉问答

    通过 Adversarial VQA 测试，发现基于现有的 Visual Question Answering 模型的表现还有很大的提升空间，提出了未来研究方向，并希望 Adversarial VQA 测试能帮助推动 VQA 领域的进步和发展。

    Jun, 2021

  • 从词汇扰动中学习，以实现一致的视觉问答

    本文提出了一种使用模块化网络来改善视觉问答模型鲁棒性的方法，以及提出了一个包含大规模语言资源的低成本基准测试，我们的结果表明，对于 VQA 模型的训练和正则化，控制下的语言扰动是一种有用的但当前未充分利用的工具。

    Nov, 2020

  • 对抗性 VQA：评估 VQA 模型鲁棒性的新基准

    通过引入 Adversarial VQA 作为一个新的大型 VQA 基准测试，我们发现非专业注释者可以轻松成功攻击 SOTA VQA 模型，而预训练模型和对抗训练方法在新基准测试中效果远不如 VQA v2 基准测试，并且我们的数据集可有效提高模型在其他稳健性 VQA 基准测试中的性能。

    Jun, 2021

  • FVQA 2.0：将对抗样本引入基于事实的视觉问答

    FVQA 2.0 数据集添加了敌对测试问题，以解决此数据集高度不平衡及集中在其相关知识图谱的部分问题。实验结果表明，原始数据集训练的系统容易受到敌对样本的影响，但通过无需人工标记的增强方法可以减少此类漏洞。

    Mar, 2023

  • 正则化注意力网络在视觉问答异常检测中的应用

    本研究评估了最新的 VQA 模型对五种不同异常情况的稳健性，并通过注意力机制的最大熵正则化方法提出了一个模型无关的跨模态技术来提高对各种异常情况的检测能力。

    Sep, 2020

  • 通过归因驱动的洞见探索 VQA 模型的弱点

    本研究分析了基于 Deep Neural Networks 的 Visual Question Answering 模型在真实场景中的应用及其受到问题输入变化的影响，并通过属性的视角对其进行了实验和对比，提出了对抗性攻击的方法，以增强系统对于可能的输入变化的鲁棒性和为视觉障碍者的辅助部署提出新的思路。

    Jun, 2020