通过变分问答对生成提高 QA 模型对挑战集的鲁棒性
本文提出一个 QAG 框架，通过生成不同的疑问句和隐式 / 显式答案，增强 QA 类型的多样性，该框架包括 QFS 基于答案生成器、迭代 QA 生成器和相关性感知排序器。
Jun, 2023
本文旨在建立三种不同的 QAG 方法的基线，利用序列到序列语言模型进行微调。实验证明，一种端到端的 QAG 模型，它在训练和推理时计算量都很轻，通常是稳健的，并且胜过其他复杂的方法。然而，这取决于底层生成模型的不同。最后，我们的分析表明，仅基于生成的问答对微调的 QA 模型可以与人类标注数据上训练的监督 QA 模型具有竞争力。
May, 2023
提出了一种基于知识蒸馏的数据增强方法 KDDAug，通过放宽合理图像 - 问题匹配的要求，并设计了一个知识蒸馏（KD）策略生成所有生成的图像 - 问题对的伪答案，从而增强图像的数据集，以提高视觉问答（VQA）模型的泛化性能。
Jul, 2022
本文提出了一种使用模块化网络来改善视觉问答模型鲁棒性的方法，以及提出了一个包含大规模语言资源的低成本基准测试，我们的结果表明，对于 VQA 模型的训练和正则化，控制下的语言扰动是一种有用的但当前未充分利用的工具。
Nov, 2020
通过生成对抗样本，解决语义结构中图片翻转等处理困难的问题，提高了视觉问答 (Visual Question Answering) 模型的性能和抗对抗攻击的能力。
Jul, 2020
视觉问答研究需要系统能够根据图像和自然语言问题提供准确的自然语言答案。然而，先前的通用 VQA 方法普遍存在记忆训练数据中的偏见而不是学习正确行为（如在预测答案之前进行图像建立联系）。因此，这些方法通常在分布内获得高性能但在分布外获得低性能。最近几年，已经提出了各种数据集和去偏见方法来评估和增强 VQA 的稳健性。本文提供了关于这一新兴领域的首个综述，重点讨论视觉问答中的这些问题。具体来说，首先概述了数据集的发展过程，从分布内和分布外的角度进行了分析。然后，研究了这些数据集使用的评估指标。第三，提出了一种类型学，介绍了现有去偏见方法的发展过程、相似之处与差异、稳健性比较和技术特征。此外，分析和讨论了 VQA 中代表性视觉与语言预训练模型的稳健性。最后，通过对现有文献的彻底审查和实验分析，从各个角度探讨了未来研究的关键领域。
Jul, 2023
本文提出了一种通过问答对生成自包含、以摘要为中心的问题和长度受限、文章概括性答案的模型，该模型通过一个新的数据集学习 QA 生成模型，利用可微分的奖励函数增强 QA 生成过程以减轻曝光偏差的影响。自动度量和人类评估都表明这些 QA 交成功能够捕捉文章的重点并实现高准确度的答案。
Sep, 2021