非平稳领域泛化:理论与算法
本文介绍一种在不同训练集下预测性能好的算法——domain generalization algorithms,并提出它们在实际应用中的可用性。作者实现了一个名为 DomainBed 的测试平台,测试了不同数据集、不同基准算法和不同模型选择的效果,并发现在经验风险最小化的情况下,预测性能最优。研究人员们的贡献,加上这个领域的开源,将推动可重复性和严格性研究的发展。
Jul, 2020
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS和PACS等基准测试中取得了高达30个百分点的改进。
Feb, 2021
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。
Mar, 2021
本论文提出了基于领域自适应的方法,将无监督训练样本中的领域信息作为辅助信息,采用学习的鉴别性领域嵌入构建领域自适应模型,用于即使在未见过领域上的预测任务。该方法在各种领域泛化基准上均实现了最先进的性能,并引入了首个现实世界的大规模领域泛化基准Geo-YFCC,相对于现有的方法,该基于领域自适应的方法在该数据集上实现了显着的优化。
Mar, 2021
本文提出了一个可以将错误分解成不同泛化方面的组成部分的域泛化算法评估框架,并将其扩展到捕捉实现不变性的各种失败类型。作者表明,域不变表示学习的策略存在两个问题,并提出了一个可行的调整分类器的方向。通过对Colored MNIST和Camelyon-17数据集的评估,作者发现泛化误差的最大贡献因素因方法、数据集、正则化强度甚至训练长度而异。
Nov, 2021
本文提出了一种新的演化域广义化方法,即Directional Domain Augmentation(DDA),并采用表示空间中的元学习方法解决了双层优化问题,该方法在合成数据集和现实世界数据集上进行了实际测试,并取得优于其他现有方法的结果。
Jan, 2023