AAAIDec, 2023

诊断和纠正虚假 OOD 不变性：一种重构的因果方法

PDF
TL;DR通过评估一个不变表示学习（IRL）家族（InvRat）在部分信息和全部信息的不变特征结构因果模型（PIIF SCM / FIIF SCM）中的弱点，然后统一它们的因果图以提出重新结构化的 SCM（RS-SCM），该论文综述了 IRL 通过重新构建虚假和假不变特征来改进特实验验证了基于 RS-SCM 的条件互信息方法来纠正不准确和虚假的不变影响，并在各种 OOD 泛化基准测试中验证了我们的方法的优越性。
invariant representation learningout-of-distribution generalizationfake invariancerestructured scmconditional mutual information
发现论文，激发创造
  • 通过解耦风格和伪特征实现不变的表示学习

    针对存在样式分布偏移和虚假特征以及缺失域标签的超域泛化问题，本文提出了一种新的框架 IRSS，并通过引入对抗神经网络和多环境优化逐渐将样式分布和虚假特征从图像中分离，实现超域泛化。实验证明 IRSS 优于传统的超域方法，并解决了不变风险最小化（IRM）退化问题，从而实现了在分布迁移下提取不变特征。

    Dec, 2023

  • 非线性不变风险最小化：一种因果方法

    提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

    Feb, 2021

  • 发现缺失的不变原则 —— 不变风险最小化的互逆孪生

    在机器学习中，我们常常希望训练的预测模型可以尽量地具有一致性，以在不同基础上具有良好的预测效果。然而过去的一些技术在解决该问题时会存在局限性。近期，一些学者新提出了一种基于一致性原则的新技术，即 MRI-v1，该技术在多种不同场景下表现良好。

    May, 2022

  • 学习因果不变表示以实现图上的跨分布泛化

    该研究提出了一种新的框架，Causality Inspired Invariant Graph LeArning (CIGA)，通过使用因果模型来确定图表上的潜在分布偏移，从而捕获图表的不变性，以在各种分布偏移下保证 OOD 泛化性能。

    Feb, 2022

  • 基于不变因果学习算法在观测数据上应用的一步

    该研究提出了一种方法，使用多个训练环境来生成不同干预的多个环境，并评估了基于模拟数据的不受监督的学习问题的 ICP 性能，最后与 ICP 相结合提出了改进的方法，提高了在具有多个协变量的数据集中进行因果发现的性能。

    Apr, 2023

  • 利用因果不变转换实现对分布外的泛化

    本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

    Mar, 2022

  • 不变表示的鲁棒评估

    我们提出了一种用于评估基于不变风险最小化方法的不变性能的新方法，并通过大量的数值研究证明了其有效性。

    Apr, 2024

  • 基于不变风险最小化的区外预测：局限性及有效解决方案

    探讨了在多个领域训练数据集且测试数据集未出现在训练中时深度神经网络在预测 out-of-distribution 问题的可靠性，并提出了在强 lambda 混淆的情况下，结合条件分布匹配的方法来避免特定类型的假相关问题和实验证明了该方法的有效性。

    Jan, 2021

  • 通过不变风险和因果表示实现稳健的可重构智能表面

    研究了鲁棒的可重构智能面（RIS）系统设计问题，并采用不变风险最小化（IRM）的概念，在多个环境中使用不变的因果表示，以使预测器对于每个环境都是同时最优的，结果表明，利用不变性可以提供更加稳健的防范未知环境和分布之外的测试。

    May, 2021

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020