AAAIJan, 2023

通过部分不变性学习最佳特征

PDF
TL;DR通过学习来自多个环境的数据，提出在模型学习中，使用部分不变性（Partial Invariance）来放宽 Invariant Risk Minimization（IRM）的假设条件，从而在语言和图像数据上进行实验并得出结论。
invariant risk minimizationrobust modelspartial invariancetraining domainsdeep neural networks
发现论文，激发创造
  • 不变风险最小化

    介绍了不变风险最小化 (IRM) 的学习模式，通过学习数据表示来估计多个训练分布之间的不变关系，从而实现在所有训练分布上匹配最优分类器，通过理论和实验表明，IRM 学习到的不变性与控制数据的因果结构相关，并能够实现分布外概括。

    Jul, 2019

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 不变风险最小化的实证研究

    通过 ColoredMNIST 实验的扩展，我们发现不变风险最小化在不同训练环境中的表现更好，学习者能够学习尽量不受干扰的预测器，并且可扩展到文本分类领域。

    Apr, 2020

  • 持续不变风险最小化

    基于变分贝叶斯和双层架构的不变风险最小化方法，通过使用交替方向乘子变异的优化问题求解策略，在多个数据集和多个逐次环境中表现优于先前的方法。

    Oct, 2023

  • 不变风险最小化是总变差模型

    基于总变差和 L2 范数的不变风险最小化方法被验证为一种数学本质，同时基于 TV-l1 模型的 IRM 框架在去噪和不变特征保留方面具有鲁棒性，并满足一些要求以实现超出分布的泛化能力。实验证明，该框架在多个基准机器学习场景中取得了竞争性能。

    May, 2024

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 元学习不变风险最小化

    本研究提出了一种基于元学习的方法来解决数据集分布变化和环境数据中假相关性的问题，并通过实验展示该方法在 Out-of-Distribution（OOD）泛化性能、稳定性和解决 IRMv1 的局限性方面具有显著改进。

    Mar, 2021

  • IRM 训练和评估中缺少什么？挑战与解决方案

    本文研究了 invariant risk minimization 的最新进展，并解决其训练和评估中的三个实际限制，提出了小批量训练方法、利用多样化的测试时间环境来精确特征描述 IRM 的不变性，以及基于共识约束的双层优化，这些方法证实了 revisiting IRM 训练和评估的实际意义。

    Mar, 2023

  • 不变风险最小化的一致性推断

    发展了一种方法来获得无分布预测区域，以描述不同环境下数据的分布差异，应用于机器学习中的无变异风险最小化（IRM）模型，基于加权遵从得分构造自适应遵从区间，并证明其条件平均值在某些条件下，通过模拟实验和实际案例的应用证明方法的有效性。

    May, 2023

  • 不变表示的鲁棒评估

    我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

    Apr, 2024