引导式变分自编码器用于分离式学习
本文以率失真理论为角度,探讨优化 $eta$-VAE 的修正ELBO下界时,在训练过程中的潜在编码信息容量逐渐增加的情况下,哪些情况下会出现与数据生成因素相对应的编码表示,我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法,可以在不降低重构精度的情况下有力地学习到解缠合表示。
Apr, 2018
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
该论文研究了变分自编码器(VAE)在学习可解释的表示和生成建模方面的出色表现,提供了对其良好性能的解释,阐明了该架构中解码器的局部正交性,从而促进重构和正交性之间的平衡。
Dec, 2018
本文讨论了利用弱监督方法进行可变自编码器(Variational AutoEncoders,VAEs)的训练过程,并提出了一种称为Gated-VAE的新模型来实现VAEs的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明,采用门控反向传播,比采用不带门控的VAEs模型在平均解缠结度、完整度和信息量方面都有所提高。
Nov, 2019
通过渐进式学习独立层级表示,本文提出了一种策略来提高Deep Generative Models如Variational Auto-Encoder的去纠缠性能,该模型从最抽象的表示开始学习,并逐渐增加网络结构以介绍不同层次的表示。在两个基准数据集上,本文通过三个去纠缠度量定量地证明了所提出模型相比于现有作品的改进,包括我们提出的补充相互信息差度量。我们提供了定性和定量的证据,论证了学习进程如何提高分解成层级表示的性能。本文通过同时利用层级表示学习和渐进式学习的优势,是我们目前发现的第一次尝试通过逐步增加VAE的能力来提高去纠缠性。
Feb, 2020
本文提出了一种结合因果结构信息的新型流模型——因果流,设计了 CF-VAE 模型,通过利用因果流增强 VAE 编码器的解缠结能力。进一步引入地面真实因素的监督,证明了该模型的解纠缠可识别性。在合成和真实数据集上的实验结果表明,CF-VAE 可以实现因果解纠缠,并进行干预实验。此外,CF-VAE 在下游任务上表现出优异的性能,并有潜力学习因果因素之间的结构。
Apr, 2023
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024