Feb, 2018

变分自编码器中解交缠来源的隔离

PDF
TL;DR我们提出了一种基于 Total Correlation Variational Autoencoder 的无监督学习方法，用以生成 disentangled representations，并介绍了一种分类器无关的 disentanglement 度量，称为 mutual information gap (MIG)。通过对 restricted 和 non-restricted 实验结果的定量和定性分析，我们展示了 latent variables model 的 total correlation 和 disentanglement 之间的强关联关系。
total correlation variational autoencoderdisentangled representationsmutual information gaplatent variables modelevidence lower bound
发现论文，激发创造
  • 变分自编码器中的解缠纷问题

    本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对 β-VAE 在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • 相关因素 VAE：学习和识别解缠因素

    我们提出了一种新颖的基于 VAE 的深度自编码器模型，可以完全无监督地学习分解的潜在表征，具有识别所有有意义的变异源及其基数的能力，该模型通过引入所谓的关联指标变量并联合 VAE 参数进行自动学习，有效地将总相关损失集中到相关因素上，我们的模型在许多具有挑战性的基准数据集上胜过了现有方法。

    Feb, 2019

  • 强制执行解缠变分自编码器的效果量化

    本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响，通过训练多个模型，发现其能够将独立输入生成因素编码为代码的单独元素，从而提高了模型行为的可解释性和可预测性。同时，也确定了分离对自编码机判别能力的负面影响。

    Nov, 2017

  • 自动编码总相关性解释

    本文提出了一种基于多元互信息或称总相关性的信息论方法，用于表征表示学习中的解缠和依赖性，提出了一种基于可变下限的 CorEx 方法，使得 Latent codes 更具可解释性，并且能够生成更丰富、更真实的样本；同时，将 VAE 与 CorEx 相联系，在信息论上加深了对分层 VAE 的理解，并激发了一种新的算法 AnchorVAE。

    Feb, 2018

  • 使用 Wasserstein 自编码器学习解耦表示

    该论文提出了 TCWAE 方法，使用 WAE 框架在潜在变量上分离了总相关项，从而在保持重构精度的同时提供了对学习表示的解缠结控制，同时在选择重构成本方面提供了更大的灵活性，并在已知生成因素的数据集上进行了大量的量化比较，取得了与最先进技术相比具有竞争力的结果。

    Oct, 2020

  • VAE 解缠结先决条件：感知重叠

    本文研究如何通过修改重建损失来实现 VAE 的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • 交互信息变分最大化实现跨域解缠

    本文提出了基于信息论的 Interaction Information Auto-Encoder (IIAE) 方法，用于跨域分离问题的研究，实现了领域不变和领域特定表示的联合目标。在图像转换和跨域检索任务中展现了模型的有效性，并在零样本草图图像检索任务中取得了最先进的性能。

    Dec, 2020

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 利用部分信息分解进行解缠分析

    提出了一种分析多元表示如何解开基础生成因素的框架，通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量，实验发现分离度量对纠缠反应正确，发现分离度量相似的自编码器模型在纠缠方面有不同的特征，需要采用不同的策略来获得分离表示。

    Aug, 2021

  • 门控变分自编码器：融合弱监督以促进解缠

    本文讨论了利用弱监督方法进行可变自编码器（Variational AutoEncoders，VAEs）的训练过程，并提出了一种称为 Gated-VAE 的新模型来实现 VAEs 的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明，采用门控反向传播，比采用不带门控的 VAEs 模型在平均解缠结度、完整度和信息量方面都有所提高。

    Nov, 2019