强制执行解缠变分自编码器的效果量化
我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法,用以生成disentangled representations,并介绍了一种分类器无关的disentanglement度量,称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析,我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
Feb, 2018
本文以率失真理论为角度,探讨优化 $eta$-VAE 的修正ELBO下界时,在训练过程中的潜在编码信息容量逐渐增加的情况下,哪些情况下会出现与数据生成因素相对应的编码表示,我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法,可以在不降低重构精度的情况下有力地学习到解缠合表示。
Apr, 2018
本文提出了一种使用弱监督来将潜在空间分离成两个互补子空间的新架构,使用变分自编码器中的循环一致性,获得鼓舞人心的结果,并与利用对抗训练的最近作品进行了比较。
Apr, 2018
本文提出了VAEs的解耦合方法,即分解潜在表示,通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦,还可通过引入先验来实现其他更丰富类型的约束,并通过控制先验和潜在空间分布来改善解耦效果。此外,还介绍了另一套训练目标和先验选择来控制分解和解耦,并对β-VAE在控制潜在空间重叠方面的性质进行了分析。
Dec, 2018
设计一种算法Guided-VAE,通过提供信号来实现VAE的潜在编码/嵌入,以学习可控的生成模型,该算法在表示学习,合成/采样改进,分类中取得了更好的效果
Apr, 2020
本文介绍了一种使用对称变换原则的新型非概率解缠框架,用于对自动编码器中的潜在空间进行因式分解(或解缠),旨在实现不使用正则化器基于自动编码器的解缠,该模型与7种最先进的基于自动编码器的生成模型进行了比较,并根据5个监督解缠度量进行了评估,实验结果表明,所提出的模型在每个特征的差异方差比较大时可以获得更好的解缠效果。我们认为,这种模型开创了一个不使用正则化器来进行自动编码器的解缠学习的新领域。
Feb, 2022
通过将标准的高斯变分自编码器(VAE)替换为量身定制的分类变分自编码器,我们探究了离散潜变量空间与解耦表示之间的关系。我们展示了分类分布的基础网格结构可以减轻与多变量高斯分布相关的旋转不变性问题,并作为解耦表示的高效先验。我们提供了分析和经验证据表明,离散VAE在学习解耦表示方面的优势。此外,我们引入了第一个偏向于解耦表示的无监督模型选择策略。
Jul, 2023
本研究解决了解耦表示学习中的真相信息缺失问题,提出了一种通过离散变分自编码器(VAE)来实现解耦的新方法。研究表明,结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能,FactorQVAE方法在两个解耦指标上优于以往的解耦方法,具有重要的应用潜力。
Sep, 2024