基于不变风险最小化的区外预测:局限性及有效解决方案
深度神经网络存在与训练数据中嵌入的虚假相关性,无法泛化到不同分布的未见域,M. Arjovsky 等人引入了域外风险的概念,并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证,证明了双层优化问题的解在一定条件下能使域外风险最小化。同时,文章还提供了训练数据分布和特征空间维度的充分条件,使双层优化问题能最小化域外风险。
Jul, 2023
本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题,并通过实验展示该方法在 Out-of-Distribution(OOD)泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。
Mar, 2021
本文探究一种基于对抗训练的深度学习模型方法,称为 Domainwise Adversarial Training (DAT),来解决深度学习模型在广义分布中失败的问题,该方法借鉴了 Invariant Risk Minimization (IRM) 和 Adversarial Training (AT) 方法,并通过实验证明,我们提出的 DAT 方法在解决不同广义分布转移方案上表现均可。
Dec, 2022
在机器学习中,我们常常希望训练的预测模型可以尽量地具有一致性,以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期,一些学者新提出了一种基于一致性原则的新技术,即 MRI-v1,该技术在多种不同场景下表现良好。
May, 2022
在此篇文章中,我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案,采用自然且广泛的模型进行分析。我们发现在线性情况下,存在简单的条件使最优解成功或更常见的是失败,以至于无法恢复最优的不变预测器。此外,我们还展示了非线性部分的首批结果:除非测试数据与训练分布足够相似,否则 IRM 可能会失败,而这正是它要解决的问题。因此,在这种情况下,我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。
Oct, 2020
介绍了不变风险最小化 (IRM) 的学习模式,通过学习数据表示来估计多个训练分布之间的不变关系,从而实现在所有训练分布上匹配最优分类器,通过理论和实验表明,IRM 学习到的不变性与控制数据的因果结构相关,并能够实现分布外概括。
Jul, 2019
通过学习来自多个环境的数据,提出在模型学习中,使用部分不变性(Partial Invariance)来放宽 Invariant Risk Minimization(IRM)的假设条件,从而在语言和图像数据上进行实验并得出结论。
Jan, 2023
本文研究了 invariant risk minimization 的最新进展,并解决其训练和评估中的三个实际限制,提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性,以及基于共识约束的双层优化,这些方法证实了 revisiting IRM 训练和评估的实际意义。
Mar, 2023