ICMLDec, 2018

变分自编码器中的解缠纷问题

PDF
TL;DR本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对 β-VAE 在控制潜在空间重叠方面的性质进行了分析。
vaeslatent representationdisentanglementpriortraining objective
发现论文，激发创造
  • 因式分解解开纠缠

    我们提出了一种被称为 FactorVAE 的方法，它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示，并通过提供更好的解耦和重构质量之间的平衡得到改进。此外，我们还介绍了一个新的解耦评估度量，并阐明了常用的解耦评估度量存在的问题。

    Feb, 2018

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018

  • VAE 解缠结先决条件：感知重叠

    本文研究如何通过修改重建损失来实现 VAE 的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 变分自编码器中解交缠来源的隔离

    我们提出了一种基于 Total Correlation Variational Autoencoder 的无监督学习方法，用以生成 disentangled representations，并介绍了一种分类器无关的 disentanglement 度量，称为 mutual information gap (MIG)。通过对 restricted 和 non-restricted 实验结果的定量和定性分析，我们展示了 latent variables model 的 total correlation 和 disentanglement 之间的强关联关系。

    Feb, 2018

  • Bayes-Factor-VAE: 基于层级贝叶斯方法的深度自动编码器模型用于因素解缠

    提出了一种名为 Bayes-Factor-VAEs 的新型层级贝叶斯深度自编码器模型，使用长尾分布对数据的可变因素进行因子分离，可以在几个基准测试中量化和定性地优于现有方法。

    Sep, 2019

  • 引导式变分自编码器用于分离式学习

    设计一种算法 Guided-VAE，通过提供信号来实现 VAE 的潜在编码 / 嵌入，以学习可控的生成模型，该算法在表示学习，合成 / 采样改进，分类中取得了更好的效果

    Apr, 2020

  • 解缠自编码器 (DAE)

    本文介绍了一种使用对称变换原则的新型非概率解缠框架，用于对自动编码器中的潜在空间进行因式分解（或解缠），旨在实现不使用正则化器基于自动编码器的解缠，该模型与 7 种最先进的基于自动编码器的生成模型进行了比较，并根据 5 个监督解缠度量进行了评估，实验结果表明，所提出的模型在每个特征的差异方差比较大时可以获得更好的解缠效果。我们认为，这种模型开创了一个不使用正则化器来进行自动编码器的解缠学习的新领域。

    Feb, 2022

  • 相关因素 VAE：学习和识别解缠因素

    我们提出了一种新颖的基于 VAE 的深度自编码器模型，可以完全无监督地学习分解的潜在表征，具有识别所有有意义的变异源及其基数的能力，该模型通过引入所谓的关联指标变量并联合 VAE 参数进行自动学习，有效地将总相关损失集中到相关因素上，我们的模型在许多具有挑战性的基准数据集上胜过了现有方法。

    Feb, 2019

  • 强制执行解缠变分自编码器的效果量化

    本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响，通过训练多个模型，发现其能够将独立输入生成因素编码为代码的单独元素，从而提高了模型行为的可解释性和可预测性。同时，也确定了分离对自编码机判别能力的负面影响。

    Nov, 2017