多类域泛化的概括误差界
本篇论文提出了一种基于模型的域泛化方法,通过对数据生成过程和同变性条件的建模,将域泛化问题转化为一个无限维的有约束统计学习问题,并利用非凸对偶理论发展了有约束松弛的统计问题,提出了具有收敛保证的域泛化算法,并在 ColoredMNIST,Camelyon17-WILDS,FMoW-WILDS 和 PACS 等基准测试中取得了高达 30 个百分点的改进。
Feb, 2021
提出了领域泛化问题的形式框架,主要是在标记的训练集数据来自于几个相关的预测问题的情况下,通过扩充原特征空间来增加特征向量的边际分布,以期在未知的未标记数据集上获得精确的预测。针对核方法,提供了更多的定量结果和通用一致的算法,并在一个合成和三个真实世界的数据集上做了实验比较.
Nov, 2017
这篇论文是对近年来领域泛化(即在一个或多个不同但相关的领域中学习出可以推广到看不见的测试领域的模型)领域的最新进展的首次回顾,涵盖了相关的理论、算法、数据集、应用,并提出了未来的研究方向。
Mar, 2021
现有的监督学习泛化理论通常采用整体方法,并提供整个数据分布的期望泛化界限,这暗示了模型对所有类别的泛化情况相似。然而,在实践中,不同类别之间的泛化性能存在显著差异,这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题,该误差量化了每个个体类别的泛化性能。我们使用 KL 散度推导出了一种新的信息论界限来度量类别泛化误差,并进一步利用条件互信息 (CMI) 获得了几个更紧的界限,这在实践中更容易估计。我们在不同的神经网络中经验证实了我们提出的界限能准确捕捉复杂的类别泛化误差行为。此外,我们还展示了本文所开发的理论工具能够应用在其他多个领域。
Jan, 2024
该研究使用多种潜在领域混合的方式来提高神经网络的领域泛化能力,通过聚类将样本分为不同的领域,并通过对抗学习训练领域不变特征提取器来发现潜在领域,并利用风格特征进行聚类,达到不需要使用领域标签的领域泛化模型的训练。该方法表现优于传统的领域泛化方法,包括使用领域标签的方法。
Nov, 2019
在标准监督学习设置中,假设训练数据和测试数据来自相同的分布(领域)。领域泛化(DG)方法旨在学习一个模型,该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将 DG 扩展到了一个更具挑战性的领域,其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化(据我们所知,这是第一个这样的尝试),其中模型不仅可以在新的领域之间推广,还可以在这些领域中的新类之间推广。我们提出了一种简单的策略,该策略有效地利用了类的语义信息,以使现有的 DG 方法满足零射领域泛化的要求。我们在 CIFAR-10、CIFAR-100、F-MNIST 和 PACS 数据集上评估了所提出的方法,为这个新的研究方向奠定了坚实的基础。
Aug, 2020
本文提出了一种基于元学习的新型框架,即双重 MEta-learning with joint DomaIn-Class matching(MEDIC),该框架同时考虑了领域间和类别间的梯度匹配,以找到适用于所有任务的平衡边界,实验证明该方法不仅在开放集场景中优于以前的方法,同时还保持了有竞争力的闭集泛化能力。
Aug, 2023
本文介绍一种在不同训练集下预测性能好的算法 ——domain generalization algorithms,并提出它们在实际应用中的可用性。作者实现了一个名为 DomainBed 的测试平台,测试了不同数据集、不同基准算法和不同模型选择的效果,并发现在经验风险最小化的情况下,预测性能最优。研究人员们的贡献,加上这个领域的开源,将推动可重复性和严格性研究的发展。
Jul, 2020
该研究论文提出了一个公平且对比度特征空间正则化的算法,名为 FOND,旨在学习可以转移源领域知识的、用于表示在特定领域中仅存在的类的广义表示。实验结果表明该算法在提高特定领域类别的泛化表现上取得了最先进的效果,并提供了可行的数据增强实用技巧。
Jun, 2023