探索对抗训练方法以学习领域不变特征，从而使语言模型可以对域外数据集进行良好的推广。我们还审查了各种其他方法来提高我们的模型性能，包括通过改写句子实现数据增强、将回答跨度预测的结尾词映射到开始词上以及精心设计的退火函数。我们的初步结果表明，在结合这些方法的情况下，与基线相比，在域外验证数据集上我们能够实现 EM 分数 15.2% 的提高和 F1 分数 5.6% 的提高。

Jun, 2022

本文提出了一种新的领域适应的表示学习方法，使用神经网络架构从源域的有标签数据和目标域的无标签数据中推断出训练的特征，该方法增加了标准层和一个新的反向梯度层，可以在文本情感分析、图像分类以及人员重新识别等任务中有效实现领域适应。

May, 2015

本研究提出了一种针对领域自适应问题的新型表示学习算法，其中训练和测试数据来自类似但不同的分布，实验结果表明，我们的神经网络算法对领域适应具有更好的性能表现，而不管是标准神经网络还是支持向量机，即使是使用 Chen 等人提出的最先进的边缘化堆栈去噪自编码器的输入特征提取。

Dec, 2014

本文提出一种采用对抗训练框架来解决深度学习中新领域适应问题的方法，将传统 QA 模型和判别器组合，以对抗的方式进行训练，从而实现 QA 模型学习到领域不变特征，并在 MRQA Shared Task 2019 中取得了优于基线模型的性能。

Oct, 2019

本文介绍了对抗学习的方法能够通过一般化的视角更好地理解前面的方法，并提出了一个新的对抗判别域自适应框架，称为 ADDA，它将判别建模、解除权重共享和 GAN 损失结合在一起，优于竞争的域对抗方法，且在标准的跨域数字分类任务和一种新的更难的跨模态物体分类任务中超越了最新的无监督适应结果。

Feb, 2017

该研究探讨了在深度学习领域，对抗性鲁棒性的问题及其解决方法，提出了领域泛化和风险外推方法来应对不同攻击方式，对测试攻击的准确率得到了大幅提升。

Oct, 2022

通过使用对抗生成网络作为跨领域正则化器，研究利用其在排名任务的效果来消除神经表示学习模型在训练过程中学习到的领域特定表示形式，从而在领域之间更好地泛化。

May, 2018

本文探讨了对抗训练在自动语音识别中应用的有效性，在使用 Domain Adversarial Neural Networks (DANNs) 在多个数据集上的实验结果表明，对抗训练能够有效地进行无监督领域自适应，从而强调了 DANNs 从原始语音学习领域不变特征的能力。

May, 2018

该研究解决强化学习中的泛化问题，通过领域对抗优化过程实现学习表征的视觉不变性，取得显著的泛化改进效果。

Feb, 2021

介绍了一种新的正则化技术，使用对抗性目标来进行领域敌对微调，可以有效提高预训练语言模型在各种自然语言理解任务中的表现。

Sep, 2020