使用一般不可压流网络 (GIN) 和非线性 ICA 进行解缠
我们研究了在存在潜在变量的条件下学习因果结构的复杂任务,包括定位潜在变量和确定它们的数量,以及确定潜在和观察变量之间的因果关系。我们提出了一种用于线性非高斯非循环因果模型(包括潜在变量)的广义独立噪声(GIN)条件,该条件确定了某些测量变量的线性组合与其他测量变量之间的独立性。通过与 GIN 的图形准则的比较,我们发现独立噪声条件可以看作是 GIN 的特殊情况。借助所提出的 GIN 条件和精心设计的搜索程序,我们进一步高效地估计了线性非高斯潜在层次模型(LiNGLaHs),其中潜在变量可能具有因果关系,甚至可能遵循层次结构。实验结果证明了所提出方法的有效性。
Aug, 2023
提出了一种基于辅助变量增广数据的非线性 ICA 的泛化框架,通过对真实的增广数据和随机化辅助变量的模拟数据进行判别式学习,实现了该框架的计算机实现,并证明了该模型的可识别性和一致性。
May, 2018
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别,从而实现了对深度潜在变量模型的拆分,论文中提出了一种新的非线性独立成分分析框架,该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
该研究探讨从多个视角中恢复具有独立组成成分的共同潜在源的问题,并呈现了在使用深度神经网络等功能逼近器时,可以理论上消除混合的新颖可识别性证明。
May, 2019
最近,非线性独立成分分析(nonlinear ICA)已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架,采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法,将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来,并采用诱导点的方法以提高计算效率。在理论方面,我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外,高斯过程(GP)非线性 ICA 被建立为 TP 非线性 ICA 模型的极限,并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说,只有当这些成分具有不同的协方差核时,它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。
Nov, 2023
利用最少体积这一新颖的非监督非线性降维方法解决高维、非线性和模型不确定性等问题,从而实现后验推断,为逆问题提供了潜在条件生成模型的训练方法。
May, 2024
本文提出了一种基于自编码器的方法,通过恢复两个统计独立组件的隐藏元素来解决混合数据下的潜变量发现问题,并在图像合成、语音合成和胎儿心电图提取等多个任务中进行了性能验证。
Oct, 2021
提出了几何信息神经网络(GINN)的概念,该网络涵盖了在几何约束下的学习、神经场作为合适的表示以及在几何任务中遇到的欠定系统的多样化解决方案生成。 GINN 公式不需要训练数据,并且可以被认为是完全由约束驱动的生成建模。 将显式多样性损失添加到减轻模式崩溃。 考虑到几何成分的连通性等多种约束,并通过莫尔斯理论将其转化为可微的损失。 通过实验证明了 GINN 学习范式在二维和三维场景中的有效性,场景复杂性逐渐增加。
Feb, 2024
本文对基于对比学习的非线性独立分量分析进行了有限样本识别能力分析,该分析框架聚合了 GCL loss 函数的特性,统计概括分析和数值微分,并考虑到学习函数的逼近误差。
Jun, 2022
本文旨在通过恢复底层的低维潜在状态及其时间演化来改进动力系统的泛化能力和解释能力。我们提出了一种基于变分自编码器的实用算法,并在逼真的合成环境中进行了实证研究,证明我们能够高准确性地恢复潜在状态动力学,相应地实现高未来预测准确性,并且能够快速适应新环境。
Jun, 2024