非线性独立表示的持续学习
提出了一种基于辅助变量增广数据的非线性ICA的泛化框架,通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习,实现了该框架的计算机实现,并证明了该模型的可识别性和一致性。
May, 2018
研究深度神经网络在表示学习中的可辨认性,并从非线性独立成分分析的角度提出一种恢复可辨认性的方法,提出了一系列充分条件和证据,证明一大类具有判别性的模型在功能空间上具有线性可辨认性。
Jul, 2020
本文讨论了一种可能的未标识结果,说明了非线性独立成分分析理论基础上的建构,并通过适当构造的反例说明了表示学习中的其他反例及其可识别性。
Feb, 2022
介绍了一个名为Causal Component Analysis的问题,它可以作为Independent Component Analysis方法以及Causal Representation Learning方法的一个泛化,专注于学习解混函数和因果机制,并通过多个数据集的干预方法以及利用基于概率流的似然方法来确定CauCA的可识别性。
May, 2023
从观察到的低级数据中揭示潜在高级因果表征是因果表征学习的目标之一,本文通过对多个环境中潜在因果变量之间因果影响的变化进行识别性探索,扩展了潜在因果模型的范围以涉及非线性因果关系,并且提出了一种新的经验估计方法,通过理论发现为学习一致的潜在因果表征提供了可行性。
Oct, 2023
Causal Representation Learning (CRL) is an ill-posed problem combining representation learning and causal discovery, and this paper presents a novel approach based on weak constraints and observational mixing, which achieves identifiability without temporal structure, intervention, or weak supervision. The paper also introduces a self-supervised estimation framework that outperforms existing baselines in CRL and demonstrates robustness against latent confounders and causal cycles.
Oct, 2023
在非平稳环境中,本研究通过探索具有时间延迟因果关系的过程下的马尔可夫假设,表明在温和条件下,可以从非线性混合中恢复独立的潜在成分,而无需观察辅助变量。我们还提出了NCTRL,一种基于原则的估计框架,仅通过测量的序列数据重建时间延迟的潜在因果变量并确定它们之间的关系。经验评估表明,我们的方法可可靠地识别时间延迟的潜在因果影响,并在很大程度上胜过无法充分利用非平稳性并因此无法区分分布变化的现有基线方法。
Oct, 2023
我们提出了一个统一的框架来研究从同时观察到的多个视图(如不同的数据模态)中学习到的表征的可识别性。我们允许部分观察的设置,其中每个视图都由一些潜在变量的子集的非线性混合构成,这些潜在变量可以有因果关系。我们通过对比学习和每个视图的单个编码器证明,任意数量的视图的所有子集共享的信息可以通过平滑双射进行学习。我们还提供了图形判据,指示哪些潜在变量可以通过一组简单的规则进行识别,我们称之为可识别代数。我们的总体框架和理论结果统一并扩展了关于多视图非线性ICA、解缠和因果表示学习的几项先前工作。我们在数字、图像和多模态数据集上实验证实了我们的论述。此外,我们证明了我们设置的不同特殊情况下先前方法的性能可以得到恢复。总的来说,我们发现在部分可观察性的一般性较弱的假设下,获取多个部分视图有助于识别更精细的表征。
Nov, 2023
该论文研究因果关系表示学习,通过从我们观察到的低级数据中恢复高级潜在变量和它们之间的因果关系,假设可以访问从多个环境生成的观测结果。作者提出了一种可证明在无法使用硬干预的情况下所能达到的最佳可识别性概念,并针对线性因果模型和一般非参数因果模型提供了相应的可识别性保证。
Nov, 2023
潜在维度加性噪声模型和潜在后非线性因果模型中的分布转变在因果表示学习中发挥重要作用,能够确定因果表示的可辨识性条件,并将其转化为实际算法,从而获得可靠的潜在因果表示。
Mar, 2024