不变表示的鲁棒评估
介绍了不变风险最小化 (IRM) 的学习模式,通过学习数据表示来估计多个训练分布之间的不变关系,从而实现在所有训练分布上匹配最优分类器,通过理论和实验表明,IRM 学习到的不变性与控制数据的因果结构相关,并能够实现分布外概括。
Jul, 2019
本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题,并通过实验展示该方法在 Out-of-Distribution(OOD)泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。
Mar, 2021
本文研究了 invariant risk minimization 的最新进展,并解决其训练和评估中的三个实际限制,提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性,以及基于共识约束的双层优化,这些方法证实了 revisiting IRM 训练和评估的实际意义。
Mar, 2023
在机器学习中,我们常常希望训练的预测模型可以尽量地具有一致性,以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期,一些学者新提出了一种基于一致性原则的新技术,即 MRI-v1,该技术在多种不同场景下表现良好。
May, 2022
在此篇文章中,我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案,采用自然且广泛的模型进行分析。我们发现在线性情况下,存在简单的条件使最优解成功或更常见的是失败,以至于无法恢复最优的不变预测器。此外,我们还展示了非线性部分的首批结果:除非测试数据与训练分布足够相似,否则 IRM 可能会失败,而这正是它要解决的问题。因此,在这种情况下,我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。
Oct, 2020
发展了一种方法来获得无分布预测区域,以描述不同环境下数据的分布差异,应用于机器学习中的无变异风险最小化(IRM)模型,基于加权遵从得分构造自适应遵从区间,并证明其条件平均值在某些条件下,通过模拟实验和实际案例的应用证明方法的有效性。
May, 2023
通过学习来自多个环境的数据,提出在模型学习中,使用部分不变性(Partial Invariance)来放宽 Invariant Risk Minimization(IRM)的假设条件,从而在语言和图像数据上进行实验并得出结论。
Jan, 2023
提出一种使用不变量风险最小化 (invariant risk minimization) 范式,学习不变表示以实现跨多个环境更好的泛化的方法。实验证明它可以减少有结构的噪声、忽略特定的伪相关性并提高域外泛化性能。
Oct, 2021