通过利用一种新颖的统计测试方法，我们发现词汇分布与文本蕴含类之间存在显著关联，强调词汇是一种明显的偏差源。为了减轻这些问题，我们提出了几种自动数据增强策略，从字符到词级别。通过对 ELECTRA 预训练语言模型进行微调，我们将有增强数据的模型与基准模型进行了比较。实验证明，所提出的方法可以有效提高模型准确性，并分别减少偏差约 0.66% 和 1.14%。

Dec, 2023

本研究通过分析现有数据集中模型和人类的实验结果，研究了视觉问答的数据集设计问题，提出了自动解决设计缺陷的方法，并对两个流行的视觉问答数据集进行了修补，同时创建了一个视觉基因组项目的新视觉问答数据集，这是当前任务的最大数据集之一，经测试其改进的设计在学习模型中能更好发挥作用。

Apr, 2017

本文介绍了一种新的分析方法，即通过微调接种的方法研究挑战数据集，应用于 NLI “压力测试” 和 Adversarial SQuAD 数据集，结果表明，挑战数据集的失败可能会导致关于模型，训练数据集和挑战数据集本身的完全不同的结论。

Apr, 2019

针对神经网络在 fine-tuning 时遇到的木马攻击问题，本文提出了在多层预训练模型上实现测试集样本水印攻击的方法，通过对样本之间和样本内部的多样性进行控制，最终得到在少量样本上可以成功攻击 fine-tuning 模型的工作。

Apr, 2023

利用对抗生成和微调的新方法来减轻计算机视觉模型中的偏见，通过使用欺骗深度神经网络但不欺骗人类的对抗图像作为反事实进行公正模型训练，通过 qualitatively 和 quantitatively 的评估证明了相比于现有方法，我们的方法实现了改进的偏见减轻和准确性。

Apr, 2024

通过对视觉语言理解任务中的数据集偏差进行对抗数据合成和样本内反事实训练，提高模型的性能。

Oct, 2023

本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

Oct, 2019

该论文介绍了一种基于强化学习框架，将生成对抗性数据的目的与修改现有架构以建立稳健性的两个重点领域相结合的方法，使用 Adversarial SQuAD “Add One Sent” 数据集表明该方法在保护免受对抗性攻击方面有某些有希望的迹象。

Jan, 2022

本文提出了一种新颖的正则化方法，通过引入一个仅装载问题的对手模型并在视觉贡献约束之后训练视觉问答模型，取得了在多个基础模型上明显提高的效果，并在标准 VQA 任务中表现出少得多的准确率下降，从而降低了语言偏差的影响。

Oct, 2018

我们提出了一种基于随机噪声生成器的简单而有效的数据增强方法，该方法可以扰动输入问题和上下文的单词嵌入，同时保持其语义不变，从而显著提高了 QA 模型的性能。在五个不同的目标域中，使用我们的词嵌入扰动训练的 QA 模型的表现明显优于基线 DA 方法和使用超过 240K 个人工生成 QA 问答对训练的模型。

May, 2021