Feb, 2021

非线性不变风险最小化：一种因果方法

PDF
TL;DR提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。
machine learninggeneralizationinvariant representationcausal learningnonlinear setting
发现论文，激发创造
  • 基于不变因果学习算法在观测数据上应用的一步

    该研究提出了一种方法，使用多个训练环境来生成不同干预的多个环境，并评估了基于模拟数据的不受监督的学习问题的 ICP 性能，最后与 ICP 相结合提出了改进的方法，提高了在具有多个协变量的数据集中进行因果发现的性能。

    Apr, 2023

  • 利用因果不变转换实现对分布外的泛化

    本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

    Mar, 2022

  • 混合观测确定鲁棒因果表达方式

    从观察中学习表示纯粹关注于学习一种对预测模型有益的低维紧凑表示。本文开发了一种学习方法，通过使用互信息度量对学习过程进行正则化，从观察数据中学习这种表示，根据假设的因子因果图。我们从理论和实证角度证明，使用学习的因果表示训练的模型在对抗攻击和分布转移方面比基准模型更强健。

    Oct, 2023

  • 学习因果不变表示以实现图上的跨分布泛化

    该研究提出了一种新的框架，Causality Inspired Invariant Graph LeArning (CIGA)，通过使用因果模型来确定图表上的潜在分布偏移，从而捕获图表的不变性，以在各种分布偏移下保证 OOD 泛化性能。

    Feb, 2022

  • 一种用于非监督表示学习的因果排序先验

    利用加性噪声模型实现无监督表示学习，并通过潜在分布的 Hessian 构建损失函数以鼓励潜在空间遵循因果排序。

    Jul, 2023

  • 从多个分布中学习因果表示：一个通用设置

    在非参数的因果表示学习中，通过稀疏约束和适当的因果影响条件，可以恢复有向无环图的势化图，从而揭示潜在因果模型的潜在变量及其关系的特定且复杂的方式。

    Feb, 2024

  • 通过分布匹配实现不变因果机制

    本文提出了一种基于因果结构的新算法来学习不变表示，通过实验证明其在各种任务上表现优异，尤其是领域泛化方面取得了最先进的结果。

    Jun, 2022

  • 不变风险最小化的风险

    在此篇文章中，我们首次针对分类下不变风险最小化 (IRM) 目标以及其最近提出的替代方案，采用自然且广泛的模型进行分析。我们发现在线性情况下，存在简单的条件使最优解成功或更常见的是失败，以至于无法恢复最优的不变预测器。此外，我们还展示了非线性部分的首批结果：除非测试数据与训练分布足够相似，否则 IRM 可能会失败，而这正是它要解决的问题。因此，在这种情况下，我们发现 IRM 及其替代方案从根本上没有改进标准经验风险最小化。

    Oct, 2020

  • 通过神经对抗不变性学习从异构环境中追求因果关系

    通过数据驱动的方法，在结构因果模型框架下，提出了一种名为 Focused Adversarial Invariance Regularization (FAIR) 的新框架，用于解决多样环境下的不变性追求问题，并应用 FAIR-NN 估计器实现普适的非参数不变性学习。

    May, 2024

  • 因果启发式表示学习用于领域泛化

    本文提出了一种基于因果关系的结构性因果模型来解决域泛化问题，并基于此提出了一种 Causality Inspired Representation Learning （CIRL）算法，该算法通过计算需满足的三个基本属性来强制表示满足因果机制的性质，进而提升了广义性能力。实验结果表明，该方法有效。

    Mar, 2022