泛化到未见领域:关于领域泛化的调查
本文提出了一种串行学习框架,用于域泛化问题,通过在每个步骤上训练来最大化下一个域的性能,提供了更多的实践,从而改善了基本学习者的性能。我们将其应用于最近提出的元学习域泛化,显示出一种简单而快速的算法,在各种域泛化基准测试中提供了一致的性能改进。
Apr, 2020
本文介绍一种在不同训练集下预测性能好的算法——domain generalization algorithms,并提出它们在实际应用中的可用性。作者实现了一个名为 DomainBed 的测试平台,测试了不同数据集、不同基准算法和不同模型选择的效果,并发现在经验风险最小化的情况下,预测性能最优。研究人员们的贡献,加上这个领域的开源,将推动可重复性和严格性研究的发展。
Jul, 2020
在标准监督学习设置中,假设训练数据和测试数据来自相同的分布(领域)。领域泛化(DG)方法旨在学习一个模型,该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将DG扩展到了一个更具挑战性的领域,其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化(据我们所知,这是第一个这样的尝试),其中模型不仅可以在新的领域之间推广,还可以在这些领域中的新类之间推广。我们提出了一种简单的策略,该策略有效地利用了类的语义信息,以使现有的DG方法满足零射领域泛化的要求。我们在CIFAR-10、CIFAR-100、F-MNIST和PACS数据集上评估了所提出的方法,为这个新的研究方向奠定了坚实的基础。
Aug, 2020
本论文提出了基于领域自适应的方法,将无监督训练样本中的领域信息作为辅助信息,采用学习的鉴别性领域嵌入构建领域自适应模型,用于即使在未见过领域上的预测任务。该方法在各种领域泛化基准上均实现了最先进的性能,并引入了首个现实世界的大规模领域泛化基准Geo-YFCC,相对于现有的方法,该基于领域自适应的方法在该数据集上实现了显着的优化。
Mar, 2021
本文提出了一个可以将错误分解成不同泛化方面的组成部分的域泛化算法评估框架,并将其扩展到捕捉实现不变性的各种失败类型。作者表明,域不变表示学习的策略存在两个问题,并提出了一个可行的调整分类器的方向。通过对Colored MNIST和Camelyon-17数据集的评估,作者发现泛化误差的最大贡献因素因方法、数据集、正则化强度甚至训练长度而异。
Nov, 2021
本文提出了一种基于分布鲁棒优化的普适认证框架,旨在弥补现有基准数据集在测试时无法全面评估领域通用算法的局限性,并提出了一种训练算法,可以用于改进其认证性能。实证评估表明,该方法显著提高了风险压力下模型的最坏损失,而在基准数据集上并未出现显著的性能下降。
Jun, 2022
该研究论文提出了一个公平且对比度特征空间正则化的算法,名为FOND,旨在学习可以转移源领域知识的、用于表示在特定领域中仅存在的类的广义表示。实验结果表明该算法在提高特定领域类别的泛化表现上取得了最先进的效果,并提供了可行的数据增强实用技巧。
Jun, 2023
深度神经网络在人工智能领域带来了革命性的进展,但面对分布转移时常常缺乏性能。传统神经网络假设训练和测试数据服从同一分布,然而实际应用中这一假设经常被违反。元学习作为一种有前景的方法,通过获取可传递的知识来快速适应各种任务,从而消除了从头学习每个任务的需求。本文基于特征提取策略和分类器学习方法的新分类法,全面调查了元学习在领域泛化方面的贡献,详细介绍了该领域的基础知识,并提供了关于未来研究方向的实践见解和深入讨论。
Apr, 2024