领域泛化中模型验证的原则方法
本文提出了一种多领域判别分析方法(MDA)来处理分类任务中的域泛化问题,通过学习一个域不变的特征变换,旨在实现每个类别之间领域的最小差异、类别之间最大可分性以及整体最大紧凑性,在学习理论分析中提供了过度风险和泛化误差的限制,通过对合成数据集和真实基准数据集的全面实验,证明了MDA的有效性。
Jul, 2019
本文介绍一种在不同训练集下预测性能好的算法——domain generalization algorithms,并提出它们在实际应用中的可用性。作者实现了一个名为 DomainBed 的测试平台,测试了不同数据集、不同基准算法和不同模型选择的效果,并发现在经验风险最小化的情况下,预测性能最优。研究人员们的贡献,加上这个领域的开源,将推动可重复性和严格性研究的发展。
Jul, 2020
本文提出基于元学习的Discriminative Adversarial Domain Generalization(DADG)框架来改善机器学习模型的泛化能力,包括学习一般化的特征表示和分类器,在三个基准数据集的对比中,DADG始终优于基线DeepAll,并在大多数评估情况下优于其他现有的领域泛化算法。
Nov, 2020
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS和PACS等基准测试中取得了高达30个百分点的改进。
Feb, 2021
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。
Mar, 2021
本论文提出了基于领域自适应的方法,将无监督训练样本中的领域信息作为辅助信息,采用学习的鉴别性领域嵌入构建领域自适应模型,用于即使在未见过领域上的预测任务。该方法在各种领域泛化基准上均实现了最先进的性能,并引入了首个现实世界的大规模领域泛化基准Geo-YFCC,相对于现有的方法,该基于领域自适应的方法在该数据集上实现了显着的优化。
Mar, 2021
本文提出了一个可以将错误分解成不同泛化方面的组成部分的域泛化算法评估框架,并将其扩展到捕捉实现不变性的各种失败类型。作者表明,域不变表示学习的策略存在两个问题,并提出了一个可行的调整分类器的方向。通过对Colored MNIST和Camelyon-17数据集的评估,作者发现泛化误差的最大贡献因素因方法、数据集、正则化强度甚至训练长度而异。
Nov, 2021
该论文提出了一种利用单个测试样本进行跨域泛化模型训练的元学习方法,将单个测试样本的自适应变形建模为一种变分贝叶斯推断问题,从而在无需额外数据的情况下实现了对每个测试样本的自动调整,并在多个领域泛化基准测试中取得了至少与现有最先进方法相当甚至更好的性能。
Feb, 2022
该论文考虑了域漂移下的模型选择问题,并提出了一种基于核k-means聚类的数据分割算法,该算法最大化训练集和验证集之间的最大平均差异(MMD),提高选定模型的泛化能力,该技术在一系列数据集和训练算法中一直表现优于其他分割策略,适用于域广义化和无监督域适应任务。分析还表明,训练集和验证集之间的MMD与测试域准确性强烈相关($\rho=0.63$),进一步证实了这种方法的有效性。
May, 2024