Apr, 2024

因果启发式正则化实现域通用表示

PDF
TL;DR在给定描述不同领域 / 分布共享的数据生成过程的因果图的基础上，通过强制执行足够的图推断条件独立性可以确定领域通用（非虚假的）特征表示。针对标准的输入 - 输出预测设置，我们将文献中考虑的图集合分类为两个不同的组：（i）那些在训练领域中的经验风险最小化器给出领域通用表示和（ii）那些不给出的情况。对于后一种情况（ii），我们提出了一个新的具有正则化的框架，该框架在没有关于虚假特征的先验知识（或代理）的情况下证明了足够用于确定领域通用特征表示。在实证方面，我们的提出的方法在（半）合成和真实数据方面表现出色，优于其他最先进的方法的平均和最差领域转移准确性。
causal graphconditional independenciesfeature representationsregularizationsspurious features
发现论文，激发创造
  • 因果启发式表示学习用于领域泛化

    本文提出了一种基于因果关系的结构性因果模型来解决域泛化问题，并基于此提出了一种 Causality Inspired Representation Learning （CIRL）算法，该算法通过计算需满足的三个基本属性来强制表示满足因果机制的性质，进而提升了广义性能力。实验结果表明，该方法有效。

    Mar, 2022

  • 领域泛化的因果启发式早分支结构

    学习领域无关的语义表示对于实现领域泛化至关重要，本文提出了基于因果关系的问题描述，并通过强制实施因果特征与非因果特征之间的边际独立性来解决特征纠缠问题。通过观察因果特征在给定对象的条件下与领域无关的独立性关系，本文提出了两个策略以补充基本框架，并通过理论和实验结果证明这两个策略对基础的边际独立性框架是有益的。

    Mar, 2024

  • 非线性不变风险最小化：一种因果方法

    提出了一种不变因果表示学习 (iCaRL) 方法，通过利用广义指数族分布得出数据表示，可以在非线性场景中实现超出分布的泛化，并发现目标的全部直接原因，针对合成和真实数据集提出性能优于基线方法的实验结果。

    Feb, 2021

  • 通过条件不变表示实现域泛化

    本文针对数据集偏差问题，提出一种基于类条件分布的域不变特征表示方法，在合成和实际数据上的实验证明其有效性。

    Jul, 2018

  • 多域因果表征学习通过弱分布不变性

    通过利用多领域数据集中的不变性，我们证明了自动编码器可以确定可稳定区分不同设置下的部分潜在因素。

    Oct, 2023

  • 利用因果不变转换实现对分布外的泛化

    本研究提出了一种针对领域间泛化问题的新方法，通过使用修改非因果特征但不改变因果特征的转换方式，从而获得跨领域的最优模型，并且该方法只需要一个单一领域的数据即可实现，在实验中证明了该方法的有效性。

    Mar, 2022

  • 基于知识的生成模型正则化

    本文提出一种利用先前领域知识改进通用生成模型性能的方法，通过引入正则化项，让生成模型的边缘分布遵循预设的特征依赖关系，可嵌入多种生成模型（例如变分自编码器、生成对抗网络）的基于反向传播的学习过程中

    Feb, 2019

  • 因果正则化

    该研究使用因果正则化方法来提高预测模型的因果可解释性，针对大规模的电子健康记录数据进行了分析，结果显示相较于 L1 正则化模型在因果准确性方面表现出色且有竞争力的预测性能，并提高了多层感知器在探测多元因果关系上的表现约 20%。

    Feb, 2017

  • 抗因果领域偏移的不变和可迁移表示

    在这篇论文中，我们研究了特定概念下的领域转移下的表示学习，该表示学习方法需要同时考虑因果不变性和 “反因果” 结构，并且可以有效地处理实际世界的分类问题。我们证明了如何将因果假设转化为学习原则，分解 “不变” 和 “非稳定” 特征以获得更好的预测结果。实验结果表明了所提算法的有效性。

    Jul, 2022

  • GCISG: 引导式因果不变学习以提高从合成到真实场景的泛化能力

    通过使用因果框架对数据生成进行表征，提出了因果不变性学习的方法，该方法有助于学习抗干扰风格变量的样式不变表示，从而提高了 syn-to-real 的泛化性能。此外，还提出了一种实用的特征蒸馏方法，可以避免遗忘真实领域的语义知识。该方法在图像分类和语义分割等任务上取得了最新的成果。

    Aug, 2022