Mar, 2021

元学习不变风险最小化

PDF
TL;DR本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。
发现论文，激发创造
  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 不变风险最小化的实证研究

    通过 ColoredMNIST 实验的扩展，我们发现不变风险最小化在不同训练环境中的表现更好，学习者能够学习尽量不受干扰的预测器，并且可扩展到文本分类领域。

    Apr, 2020

  • IRM 训练和评估中缺少什么？挑战与解决方案

    本文研究了 invariant risk minimization 的最新进展，并解决其训练和评估中的三个实际限制，提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性，以及基于共识约束的双层优化，这些方法证实了 revisiting IRM 训练和评估的实际意义。

    Mar, 2023

  • 不变表示的鲁棒评估

    我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

    Apr, 2024

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 基于不变风险最小化的区外预测：局限性及有效解决方案

    探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

    Jan, 2021

  • 持续不变风险最小化

    基于变分贝叶斯和双层架构的不变风险最小化方法，通过使用交替方向乘子变异的优化问题求解策略，在多个数据集和多个逐次环境中表现优于先前的方法。

    Oct, 2023

  • 通过部分不变性学习最佳特征

    通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。

    Jan, 2023

  • 不变风险最小化的无分布优化性

    深度神经网络存在与训练数据中嵌入的虚假相关性，无法泛化到不同分布的未见域，M. Arjovsky 等人引入了域外风险的概念，并将由虚假相关性引起的问题形式化为域外风险的最小化问题。本文旨在为不变风险最小化提供理论上的验证，证明了双层优化问题的解在一定条件下能使域外风险最小化。同时，文章还提供了训练数据分布和特征空间维度的充分条件，使双层优化问题能最小化域外风险。

    Jul, 2023