Jul, 2023

不变风险最小化的无分布优化性

PDF
TL;DR深度神经网络存在与训练数据中嵌入的虚假相关性，无法泛化到不同分布的未见域，M. Arjovsky 等人引入了域外风险的概念，并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证，证明了双层优化问题的解在一定条件下能使域外风险最小化。同时，文章还提供了训练数据分布和特征空间维度的充分条件，使双层优化问题能最小化域外风险。
deep neural networksout-of-distribution riskinvariant risk minimizationbi-level optimization problemo.o.d. risk
发现论文，激发创造
  • 基于不变风险最小化的区外预测：局限性及有效解决方案

    探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

    Jan, 2021

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • Pareto 不变风险最小化：走向解决优化难题及其在超出分布泛化中的应用

    该论文介绍了一种名为 PAIR 的多目标优化方案来改善针对 Out-of-Distribution 数据的机器学习模型的鲁棒性。该方案通过优化其他 OOD 目标来改进 OOD 目标的鲁棒性，并通过达到 Pareto 最优解来平衡 ERM 和 OOD 目标的权衡关系。在挑战性的基准测试 WILDS 上进行的广泛实验表明，PAIR 缓解了折衷并产生了最佳的 OOD 性能。

    Jun, 2022

  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 经验风险最小化或不变风险最小化？样本复杂度的视角

    本研究分析了不变风险最小化（IRM）和经验风险最小化（ERM）框架的样本复杂度和渐近行为，在协变量转移设置中，IRM 和 ERM 的渐近解决方案相同且具有类似的有限样本行为，但对于其他分布转移，如涉及混淆变量或反因果变量的转移，IRM 和 ERM 到达不同的渐近解决方案，并且 IRM 在有限样本制度中保证接近所需的 OOD 解决方案。

    Oct, 2020

  • 关于不变性学习和对抗训练与超出分布泛化的联系

    本文探究一种基于对抗训练的深度学习模型方法，称为 Domainwise Adversarial Training (DAT)，来解决深度学习模型在广义分布中失败的问题，该方法借鉴了 Invariant Risk Minimization (IRM) 和 Adversarial Training (AT) 方法，并通过实验证明，我们提出的 DAT 方法在解决不同广义分布转移方案上表现均可。

    Dec, 2022

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 不变表示的鲁棒评估

    我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

    Apr, 2024

  • 不变风险最小化的实证研究

    通过 ColoredMNIST 实验的扩展，我们发现不变风险最小化在不同训练环境中的表现更好，学习者能够学习尽量不受干扰的预测器，并且可扩展到文本分类领域。

    Apr, 2020