Pareto 不变风险最小化：走向解决优化难题及其在超出分布泛化中的应用

ICLRJun, 2022

Pareto 不变风险最小化：走向解决优化难题及其在超出分布泛化中的应用

Pareto Invariant Risk Minimization: Towards Mitigating the Optimization Dilemma in Out-of-Distribution Generalization

Yongqiang Chen, Kaiwen Zhou, Yatao Bian, Binghui Xie, Bingzhe Wu...

TL;DR该论文介绍了一种名为 PAIR 的多目标优化方案来改善针对 Out-of-Distribution 数据的机器学习模型的鲁棒性。该方案通过优化其他 OOD 目标来改进 OOD 目标的鲁棒性，并通过达到 Pareto 最优解来平衡 ERM 和 OOD 目标的权衡关系。在挑战性的基准测试 WILDS 上进行的广泛实验表明，PAIR 缓解了折衷并产生了最佳的 OOD 性能。

Abstract

Recently, there has been a growing surge of interest in enabling machine learning systems to generalize well to Out-of-Distribution (OOD) data. Most efforts are devoted to advancing optimization objectives that regularize models to capture the underlying invariance; however, there often are compromises in the optimization process of these OOD objectives: i)

machine learning out-of-distribution data multi-objective optimization robustness pareto optimal solution

发现论文，激发创造

不变风险最小化的无分布优化性

深度神经网络存在与训练数据中嵌入的虚假相关性，无法泛化到不同分布的未见域，M. Arjovsky 等人引入了域外风险的概念，并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证，证明了双层优化问题的解在一定条件下能使域外风险最小化。同时，文章还提供了训练数据分布和特征空间维度的充分条件，使双层优化问题能最小化域外风险。

Jul, 2023

元学习不变风险最小化

本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

Mar, 2021

基于不变风险最小化的区外预测：局限性及有效解决方案

探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

Jan, 2021

经验风险最小化或不变风险最小化？样本复杂度的视角

本研究分析了不变风险最小化（IRM）和经验风险最小化（ERM）框架的样本复杂度和渐近行为，在协变量转移设置中，IRM 和 ERM 的渐近解决方案相同且具有类似的有限样本行为，但对于其他分布转移，如涉及混淆变量或反因果变量的转移，IRM 和 ERM 到达不同的渐近解决方案，并且 IRM 在有限样本制度中保证接近所需的 OOD 解决方案。

Oct, 2020

异构风险最小化

提出了异质风险最小化 (HRM) 框架来实现数据的异质性联合学习和不变关系，实现了稳定的预测，从而解决了许多不变学习方法无法应用的问题。

May, 2021

核化异构风险最小化

本文介绍了一种基于核化的异构风险最小化算法，实现了潜在特性探索和不变学习，并通过指定不变梯度方向向原始神经网络传递反馈。我们从理论和实践两方面证明了我们的算法的有效性。

Oct, 2021

发现缺失的不变原则 —— 不变风险最小化的互逆孪生

在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

May, 2022

不变表示的鲁棒评估

我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

Apr, 2024

不变风险最小化的风险

在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

Oct, 2020

模型无关样本重新加权用于数据集外学习

提出一种方法（MAPLE），通过样本重新加权，处理机器学习模型的过度拟合问题，特别针对过度参数化的情况，从而有效提高模型的超出分布的泛化能力。

Jan, 2023