VAE解缠结先决条件: 感知重叠
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
我们提出了一种被称为FactorVAE的方法,它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示,并通过提供更好的解耦和重构质量之间的平衡得到改进。此外,我们还介绍了一个新的解耦评估度量,并阐明了常用的解耦评估度量存在的问题。
Feb, 2018
本文以率失真理论为角度,探讨优化 $eta$-VAE 的修正ELBO下界时,在训练过程中的潜在编码信息容量逐渐增加的情况下,哪些情况下会出现与数据生成因素相对应的编码表示,我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法,可以在不降低重构精度的情况下有力地学习到解缠合表示。
Apr, 2018
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
本文讨论了利用弱监督方法进行可变自编码器(Variational AutoEncoders,VAEs)的训练过程,并提出了一种称为Gated-VAE的新模型来实现VAEs的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明,采用门控反向传播,比采用不带门控的VAEs模型在平均解缠结度、完整度和信息量方面都有所提高。
Nov, 2019
设计一种算法Guided-VAE,通过提供信号来实现VAE的潜在编码/嵌入,以学习可控的生成模型,该算法在表示学习,合成/采样改进,分类中取得了更好的效果
Apr, 2020
本文提出了一种基于变量可预测性的方法来优化VAE和GAN框架中的潜变量表征的解缠方法,该方法通过最大化潜变量变化与相应图像变化之间的互信息来增强变量的可预测性,同时提出了一种新的评估指标来度量潜在维度的解缠性能。研究表明,所提出的变量可预测性方法与当前基于与真实情况的度量模型表现出很好的相关性,可以有效地增强潜变量表征的解缠能力。
Jul, 2020
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024