May, 2024

不变风险最小化是总变差模型

PDF
TL;DR基于总变差和 L2 范数的不变风险最小化方法被验证为一种数学本质，同时基于 TV-l1 模型的 IRM 框架在去噪和不变特征保留方面具有鲁棒性，并满足一些要求以实现超出分布的泛化能力。实验证明，该框架在多个基准机器学习场景中取得了竞争性能。
invariant risk minimizationtotal variationtv-l2tv-l1out-of-distribution generalization
发现论文，激发创造
  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 持续不变风险最小化

    基于变分贝叶斯和双层架构的不变风险最小化方法，通过使用交替方向乘子变异的优化问题求解策略，在多个数据集和多个逐次环境中表现优于先前的方法。

    Oct, 2023

  • 不变风险最小化的实证研究

    通过 ColoredMNIST 实验的扩展，我们发现不变风险最小化在不同训练环境中的表现更好，学习者能够学习尽量不受干扰的预测器，并且可扩展到文本分类领域。

    Apr, 2020

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 通过部分不变性学习最佳特征

    通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

    Jan, 2023

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • IRM 训练和评估中缺少什么？挑战与解决方案

    本文研究了 invariant risk minimization 的最新进展，并解决其训练和评估中的三个实际限制，提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性，以及基于共识约束的双层优化，这些方法证实了 revisiting IRM 训练和评估的实际意义。

    Mar, 2023

  • 不变表示的鲁棒评估

    我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

    Apr, 2024

  • 不变风险最小化是否能捕捉不变性？

    研究表明，Arjovsky 等人的不变风险最小化 (IRM) 公式在其实际的 “线性” 形式下可能无法捕获 “自然” 的不变性，在非常简单的问题上甚至不能解决 IRL 的动机示例，即使与无限制的 ERM 相比，在新环境下可能导致更糟糕的泛化。此外，即使能捕捉 “正确” 的不变性，由于损失函数在不同环境下并不不变，IRM 也可能学习到次优的预测器。这些问题甚至在对总体分布进行不变性度量时出现，并且对抽样极其脆弱。

    Jan, 2021