通过机制稀疏正则化实现解缠:非线性 ICA 的新原则
提出了一种称为 “机制稀疏正则化” 的解缠方法,通过同时学习潜在因素和解释它们的稀疏因果图模型来诱导解缠,展示了该方法的可行性和其所依赖的假设,并提出了基于变分自动编码器和稀疏约束的估计过程,并在多个合成数据集上进行了验证。
Jan, 2024
本文提出了一种基于独立因果机制的因果解缠结的新概念,并提出了 ICM-VAE 框架来学习因果解缠结表示,使用可学习的基于流的差分同胚函数将噪声变量映射到潜在因果变量,同时为了促进因果因素的解缠结,提出了因果解缠结先验。在相对温和的条件下,我们提供了理论结果,显示出因果因子和机制的可识别性。经验证明,该框架引导出高度解缠结的因果因子,提高了干预的稳健性,并且与因果生成相容。
Jun, 2023
通过将因果关系理论与矢量量化变分自编码器相结合,我们提出了一种新的基于因果动态的去纠缠方法,将量化向量视为因果变量并将其链接在因果图中,通过对因果图进行因果干预,引发影响图像中唯一变化因素的原子转换。同时,我们通过引入一个新的行动检索任务来测试我们的模型。我们在标准的合成和真实世界的去纠缠数据集上进行了测试,结果表明它能够有效地解缠图像变化因素并对图像的高级语义属性进行精确干预,而不影响其质量,即使在不均衡的数据分布下也是如此。
Feb, 2023
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别,从而实现了对深度潜在变量模型的拆分,论文中提出了一种新的非线性独立成分分析框架,该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法,通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性,能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。
Sep, 2018
本文提出一个基于变分推理的方法,从大量未标记的观察中推断分离的潜在因素,通过对所观察数据的近似后验期望引入正则化项,从而鼓励分离;同时,提出了一种新的分离度量,与解码器输出中观察到的定性分离更加一致,经实验证明,在分离度和数据似然(重建质量)方面存在显著的改进。
Nov, 2017
最近,非线性独立成分分析(nonlinear ICA)已经成为深度表示学习和特征解缠中许多启发式模型的热门替代方法之一。本文介绍了一种新的非线性 ICA 框架,采用适用于具有高维度依赖结构的数据的 $t$-process (TP) 潜在成分。我们发展了一种新的学习和推理算法,将变分推断方法扩展到将深度神经网络混合函数与 TP 先验结合起来,并采用诱导点的方法以提高计算效率。在理论方面,我们证明了这些 TP 独立成分在非常普遍的条件下是可识别的。此外,高斯过程(GP)非线性 ICA 被建立为 TP 非线性 ICA 模型的极限,并且我们证明了该 GP 极限下潜在成分的可识别性更受限制。也就是说,只有当这些成分具有不同的协方差核时,它们才是可识别的。我们的算法和可识别性定理在模拟空间数据和真实的时空数据上进行了探索。
Nov, 2023
该论文介绍了一种基于 SlowVAE 的非监督学习模型, 可以在自然视频中实现底层变化因素的非线性分离, 并证明该模型在多个测试数据集上都超过了目前的最先进水平,并成功应用于其他具有自然动态的视频数据集。
Jul, 2020
本文介绍了一种使用对称变换原则的新型非概率解缠框架,用于对自动编码器中的潜在空间进行因式分解(或解缠),旨在实现不使用正则化器基于自动编码器的解缠,该模型与 7 种最先进的基于自动编码器的生成模型进行了比较,并根据 5 个监督解缠度量进行了评估,实验结果表明,所提出的模型在每个特征的差异方差比较大时可以获得更好的解缠效果。我们认为,这种模型开创了一个不使用正则化器来进行自动编码器的解缠学习的新领域。
Feb, 2022