使用预训练的多模态源模型生成对抗性图像 - 文本对来攻击目标 VQA 模型，并提出了一种新的 VQAttack 模型，通过设计的模块迭代生成图像和文本扰动，实验证明在转移攻击环境下，与现有方法相比，该模型具有有效性。

Feb, 2024

本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

Oct, 2019

本文提出一种使用合成对抗数据生成的方法来提高问题回答模型对人工对手的鲁棒性。通过将合成数据引入训练，成功地将对人工对手的鲁棒性提高了大约一倍。

Apr, 2021

本文综述了传统信息检索方法和深度神经网络方法在文本问答任务中的应用，介绍了相关模型以及可供比较的数据集和文献结果。

Feb, 2020

通过对不同攻击方式的全面研究，本文发现大型多模态模型对于视觉对抗性输入并不具备鲁棒性，但给模型提供上下文（例如问答中的问题）可以降低视觉对抗性输入的影响。该研究还提出了一种新的真实世界图像分类方法，称为查询分解，通过将存在性查询融入输入提示中，观察到攻击的效果减弱和图像分类准确性的提高，从而对多模态系统在对抗环境中增强韧性方面提供了开创性的研究。

Dec, 2023

本文介绍了一种生成澄清问题的方法，该方法通过建模假设答案作为潜在变量来引导生成更有用的澄清问题，并在两个数据集上评估了其性能。

Apr, 2019

本研究探讨了使用生成对抗网络（GANs）、自编码器和注意力机制改进视觉问答（VQA）的创新方法。研究发现，通过利用一个平衡的 VQA 数据集，GAN-based 方法提供了生成与图像和问题相关的答案嵌入的潜力，但在处理较复杂的任务时存在困难。相比之下，基于自编码器的技术专注于学习问题和图像的最佳嵌入，由于在处理复杂问题上能力更强，其结果与 GAN-based 方法相媲美。最后，注意力机制结合多模态紧凑双线性池化（MCB）来解决语言先验和注意力建模问题，但在复杂性和性能之间需要权衡。本研究强调了 VQA 领域的挑战和机遇，并提出了未来研究的方向，包括替代 GAN 的形式和注意力机制。

Apr, 2024

该论文介绍了一种采用对抗性方法的问题生成系统，旨在解决问题生成中的扩展性和安全性问题，并提出了一种问题 - 回答系统来剪枝不可回答的问题并提高答案质量，实现了高效、安全、准确、生产就绪的问答系统。

Oct, 2022

本研究提出了一种迭代的对抗攻击方法（Iterative-attack），该方法融合了图像和文本攻击，可以更有效地搜索对抗性的文本和图像，从而提高多模态文本生成模型的对抗鲁棒性。实验结果表明，该方法优于现有的单模态和非迭代多模态攻击方法，这表明可以提高多模态文本生成模型的安全性。

May, 2023

本篇论文介绍了最近使用生成对抗网络进行文本生成的研究和进展，并对基于对抗学习的文本生成的三种可能选择（即 Gumbel-Softmax 分化，强化学习和修改训练目标）进行了综述。

Dec, 2022