隐马尔可夫非线性 ICA:从非平稳时间序列中进行无监督学习
提出一种基于时间序列的无监督深度学习方法:时间对比学习,利用数据的非静态特性提取潜在特征,同时将时间对比学习与非线性 ICA 模型相结合实现非线性 ICA 模型的辨识性研究。
May, 2016
提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架,通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习,实现了该框架的计算机实现,并证明了该模型的可识别性和一致性。
May, 2018
最近,非线性独立成分分析(nonlinear ICA)已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架,采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法,将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来,并采用诱导点的方法以提高计算效率。在理论方面,我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外,高斯过程(GP)非线性 ICA 被建立为 TP 非线性 ICA 模型的极限,并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说,只有当这些成分具有不同的协方差核时,它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。
Nov, 2023
在非平稳环境中,本研究通过探索具有时间延迟因果关系的过程下的马尔可夫假设,表明在温和条件下,可以从非线性混合中恢复独立的潜在成分,而无需观察辅助变量。我们还提出了 NCTRL,一种基于原则的估计框架,仅通过测量的序列数据重建时间延迟的潜在因果变量并确定它们之间的关系。经验评估表明,我们的方法可可靠地识别时间延迟的潜在因果影响,并在很大程度上胜过无法充分利用非平稳性并因此无法区分分布变化的现有基线方法。
Oct, 2023
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别,从而实现了对深度潜在变量模型的拆分,论文中提出了一种新的非线性独立成分分析框架,该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题,并呈现了在使用深度神经网络等功能逼近器时,可以理论上消除混合的新颖可识别性证明。
May, 2019
研究非线性关系下的因果发现问题,提出基于非线性独立成分分析的方法,通过一系列独立性检验来推断具有双边因果关系的变量之间的因果方向,并扩展到多变量因果发现,最终通过神经成像数据证明该方法的有效性。
Apr, 2019
本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析,该分析框架聚合了 GCL loss 函数的特性,统计概括分析和数值微分,并考虑到学习函数的逼近误差。
Jun, 2022
本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法,并在逼真的合成环境中进行了实证研究,证明我们能够高准确性地恢复潜在状态动力学,相应地实现高未来预测准确性,并且能够快速适应新环境。
Jun, 2024