Oct, 2020

利用独立因果机制原理学习鲁棒模型

PDF
TL;DR本文提出一种基于独立因果机制（ICM）原理的新梯度学习框架，理论和实验结果表明，这种学习方法可以在训练时利用不同环境之间的分布偏移，使神经网络更加鲁棒，并成功地找到与环境无关的关系，达到了对不稳定环境的泛化能力。
supervised learningdata distribution shiftneural networksinvariant relationscausal mechanisms
发现论文，激发创造
  • 大型语言模型能学习独立因果机制吗？

    利用因果关系的两个概念在大型语言模型中学习独立因果机制，通过引入路由方案实现网络的专业化，并采用最小化互信息目标训练一个独立模块来学习抽象和领域不变机制，从而改善抽象和因果推理任务的超越分布性能。

    Feb, 2024

  • 因果生成模型的群不变原理

    本文提出了一个基于群论的框架来研究因果发现算法，统一概括了多种方法中独立原理（ICM）的解释和应用，通过随机泛群转换来评估原因 - 机制关系并证明该群论视角为研究数据生成机制提供了一个非常通用的工具，并可以直接应用于机器学习。

    May, 2017

  • 学习独立的因果机制

    通过模拟物理机制，我们开发出一种无监督学习的算法，能够从变换后的数据点中恢复出一组相互独立的机制，并且这些机制可以移植到新的领域中，对于迁移学习有重要的启示和应用。

    Dec, 2017

  • 数据收集的因果方向很重要：因果学习和反因果学习对 NLP 的影响

    本文采用独立因果机制的理论解释和分析自然语言处理任务中的半监督学习和领域自适应表现差异，通过超过 100 个已发表文章和 30 个领域适应研究进行大量的元分析，结果表明 ICM 原则对文本数据的有效性的影响是非常显著的。

    Oct, 2021

  • 利用独立因果机制原则学习因果分离表示

    本文提出了一种基于独立因果机制的因果解缠结的新概念，并提出了 ICM-VAE 框架来学习因果解缠结表示，使用可学习的基于流的差分同胚函数将噪声变量映射到潜在因果变量，同时为了促进因果因素的解缠结，提出了因果解缠结先验。在相对温和的条件下，我们提供了理论结果，显示出因果因子和机制的可识别性。经验证明，该框架引导出高度解缠结的因果因子，提高了干预的稳健性，并且与因果生成相容。

    Jun, 2023

  • 基于不变因果学习算法在观测数据上应用的一步

    该研究提出了一种方法，使用多个训练环境来生成不同干预的多个环境，并评估了基于模拟数据的不受监督的学习问题的 ICP 性能，最后与 ICP 相结合提出了改进的方法，提高了在具有多个协变量的数据集中进行因果发现的性能。

    Apr, 2023

  • 在稀疏机制转移假设下异质环境下的因果发现

    本文探讨了在非独立同分布环境下学习因果结构的方法，提出了稀疏机制偏移假设，并应用于提出的机制偏移得分进行实证研究，结果证明了该算法具有较高的正确性和实用性。

    Jun, 2022

  • 通过分布匹配实现不变因果机制

    本文提出了一种基于因果结构的新算法来学习不变表示，通过实验证明其在各种任务上表现优异，尤其是领域泛化方面取得了最先进的结果。

    Jun, 2022

  • 通过正交神经网络学习因果机制

    本研究探究使用无监督学习的方法，从畸变的数据点中学习一组独立机制的反向模型，包括引入正交化层到专家结构中以增加输出的多样性以及通过专家之间再分配数据点的方式防止任何一个声称多种机制。

    Jun, 2023

  • 独立机制分析在表示学习中的稳健性探究

    本研究旨在探讨通过 Independent Mechanism Analysis (IMA) 方法对混合物进行独立成分分离的效果，结果表明该方法能够有效地恢复真实的潜在源，即使混合函数在一定程度上违反了该方法的假设。

    Jul, 2022