通过正交神经网络学习因果机制

Jun, 2023

Learning Causal Mechanisms through Orthogonal Neural Networks

Peyman Sheikholharam Mashhadi, Slawomir Nowaczyk

TL;DR本研究探究使用无监督学习的方法，从畸变的数据点中学习一组独立机制的反向模型，包括引入正交化层到专家结构中以增加输出的多样性以及通过专家之间再分配数据点的方式防止任何一个声称多种机制。

Abstract

A fundamental feature of human intelligence is the ability to infer high-level abstractions from low-level sensory data. An essential component of such inference is the ability to discover modularized generative mechanisms. Despite many efforts to use statistical learning and pattern r

modularized generative mechanisms unsupervised learning pattern recognition systems independent mechanisms orthogonalization layer

发现论文，激发创造

学习独立的因果机制

通过模拟物理机制，我们开发出一种无监督学习的算法，能够从变换后的数据点中恢复出一组相互独立的机制，并且这些机制可以移植到新的领域中，对于迁移学习有重要的启示和应用。

Dec, 2017

利用独立因果机制原理学习鲁棒模型

本文提出一种基于独立因果机制（ICM）原理的新梯度学习框架，理论和实验结果表明，这种学习方法可以在训练时利用不同环境之间的分布偏移，使神经网络更加鲁棒，并成功地找到与环境无关的关系，达到了对不稳定环境的泛化能力。

Oct, 2020

监督学习中高效表示识别

本文针对非线性独立成分分析的负面结果，试图研究在没有条件独立性的辅助信息下如何实现解缠以及如何减少需要的辅助信息量。在一类模型中，我们证明理论上和实验上都可以实现解缠，即使辅助信息的维度远小于真实潜在表示的维度。

Apr, 2022

利用独立因果机制原则学习因果分离表示

本文提出了一种基于独立因果机制的因果解缠结的新概念，并提出了 ICM-VAE 框架来学习因果解缠结表示，使用可学习的基于流的差分同胚函数将噪声变量映射到潜在因果变量，同时为了促进因果因素的解缠结，提出了因果解缠结先验。在相对温和的条件下，我们提供了理论结果，显示出因果因子和机制的可识别性。经验证明，该框架引导出高度解缠结的因果因子，提高了干预的稳健性，并且与因果生成相容。

Jun, 2023

生成模型中外推独立机制的理论

生成模型可以通过实现真实数据生成过程的因果图结构向未被观测环境进行预测，然而，由于因果图结构节点通常未被观测，这导致了模型的超参数化和因果结构的不可识别性，此文章开发了一种理论框架，通过一个弱化的可识别性标准解决这种情况，并展示经典的随机梯度下降可能阻碍模型对未被观测数据的预测能力，建议在训练期间明确地强制执行机制的独立性，使用真实世界数据训练的深度生成模型实验证明这些看法，并展示这些模型的外推能力如何被利用。

Apr, 2020

通过逆识别标记神经表示

我们提出了一种逆向识别方法 (INVERT)，通过利用学习表示与人可理解的概念之间的区分能力，实现了将学习表示与其对应解释相连接的可扩展方法。此方法具有较低的计算复杂度并且不依赖于分割掩码的可用性，还提供了一个可解释的度量来评估表示与其相应解释之间的一致性并提供统计显著性的度量值，强调其实用性和可信度。我们展示了 INVERT 在各种场景中的适用性，包括识别受偶然相关性影响的表示以及对模型中决策层次结构的解释。

Nov, 2023

独立机制分析，一个新概念？

本论文研究了在非线性盲源分离的场景下，具有独立因果机制的模型，可以重获模型的可识别性并绕过一些非可识别性问题。

Jun, 2021

反事实生成网络

通过深度生成建模，我们将图像生成过程分解成独立的因果机制，从而产生反事实图像，提高了模型的新颖性和可解释性。在 MNIST 和 ImageNet 上的实验表明，这些反事实图像能够提高模型的抗干扰性，而且这个模型能在单 GPU 上高效训练。

Jan, 2021

通过分布匹配实现不变因果机制

本文提出了一种基于因果结构的新算法来学习不变表示，通过实验证明其在各种任务上表现优异，尤其是领域泛化方面取得了最先进的结果。

Jun, 2022

机械操作符中可解释建模和未知误差的减少

研究提出了一种基于神经机制的前向算子来解决图像重建中由操作错误带来的误差问题，其使用潜在空间进行自组织聚类来对操作错误进行建模和纠正，并应用于心脏表面电位与身体表面电位的逆重建中，从而提高了重建的准确性。

Nov, 2022