学习单域通用性
该篇研究论文提出了一个基于循环迭代的数据增强方法,使用虚构的目标领域中存在“困难”样本的数据来训练学习模型,以在先前未知的目标领域上实现更好的一般化表现。该方法利用对抗性示例以及数据依赖正则化来提高模型性能。
May, 2018
该论文提出了一种新的对抗训练方法ATDA,采用有限数量的目标域样本进行域自适应,以提高模型的泛化性,经过实证研究,该方法在标准基准数据集上的性能优于现有方法。同时,扩展到迭代攻击的对抗训练也取得了显著的进展。
Oct, 2018
该论文提出一种学会学习的方法,通过学习辅助损失本身来提高模型的泛化能力,进而应用于领域推广的问题,包括传统领域推广和异构域推广。实验结果表明,该方法在两种情况下优于现有的解决方案。
Jan, 2019
本论文提出了一种基于对抗生成网络的方法,通过学习域间变换的不变性来实现域不变表示的学习,以解决领域泛化问题,并在多个广泛使用的数据集上取得了与最先进模型竞争的结果。
Feb, 2021
本文利用Wasserstein距离定义了out-of-distribution(OOD)一般化,理论上证明对输入扰动具有鲁棒性的模型可以在OOD数据上一般化;在图像分类和自然语言理解任务上进行了实证验证,并进一步理论证明了在预训练和微调范式中,更具扰动输入鲁棒性的预训练模型可以更好地初始化在下游OOD数据的泛化,实验证明在经过微调后,这种通过对抗训练预训练的更好初始化的模型也有更好的OOD一般化。
May, 2021
本文提出了一种通用的标准化方法—自适应标准化和重新缩放标准化(ASR-Norm),通过神经网络学习标准化和重新缩放的统计数据,可以进一步提高单域泛化模型的范化能力,特别是在源域与目标域差异较大的情况下,该方法在Digits、CIFAR-10-C和PACS基准测试中与ADA方法相比可平均提高1.6%、2.7%和6.3%。
Jun, 2021
本文提出了一种新的通用领域敌对框架,利用变分f-分歧的特征进行领域自适应。基于此框架,推导出了具有重要修正的新算法框架,并证明了其在自然语言和计算机视觉数据集上优于现有的基线结果。
Jun, 2021
提出 Adversarial Bayesian Augmentation(ABA)算法,该算法利用对抗学习和贝叶斯神经网络生成多样化的数据增强,以解决领域泛化中缺乏多样训练数据、目标数据不可访问和领域偏移等问题,通过在多种领域上生成合成图像域,帮助分类器在未见到的领域中泛化。在包括样式偏移、子人群偏移和医学图像处理等多种领域偏移情况下,ABA超越了所有以往的最先进方法,包括预先指定的增强、基于像素和卷积的增强技术。
Jul, 2023
利用大型语言模型和文本到图像生成技术,我们介绍了一种领域外推方法,通过合成全新领域的高保真、逼真的图像来显著提高域泛化数据集的训练效果,实现了单一和多领域泛化任务上的显著改进,甚至在没有任何收集数据的条件下,超过了监督设置的表现。
Mar, 2024
该研究提出了一种领域对抗主动学习算法(DAAL),用于领域泛化任务中的分类任务,在减少数据资源的情况下实现强大的泛化能力,从而降低领域泛化任务中的数据标注成本。
Mar, 2024