Feb, 2018

变分自编码器中解交缠来源的隔离

HTML
PDF
TL;DR我们提出了一种基于Total Correlation Variational Autoencoder的无监督学习方法，用以生成disentangled representations，并介绍了一种分类器无关的disentanglement度量，称为mutual information gap (MIG)。通过对restricted和non-restricted实验结果的定量和定性分析，我们展示了latent variables model 的total correlation和disentanglement之间的强关联关系。
发现论文，激发创造
  • 强制执行解缠变分自编码器的效果量化

    本文研究了参数 $eta$ 对分离自编码机性能和分离能力的影响，通过训练多个模型，发现其能够将独立输入生成因素编码为代码的单独元素，从而提高了模型行为的可解释性和可预测性。同时，也确定了分离对自编码机判别能力的负面影响。

    Nov, 2017

  • 自动编码总相关性解释

    本文提出了一种基于多元互信息或称总相关性的信息论方法，用于表征表示学习中的解缠和依赖性，提出了一种基于可变下限的CorEx方法，使得Latent codes更具可解释性，并且能够生成更丰富、更真实的样本；同时，将VAE与CorEx相联系，在信息论上加深了对分层VAE的理解，并激发了一种新的算法AnchorVAE。

    Feb, 2018

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正ELBO下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 变分自编码器中的解缠纷问题

    本文提出了VAEs的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对β-VAE在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • 通过交替解缠学习数据的离散和连续因子

    本文提出一种新方法实现无监督离散和连续特征分离，利用 Beta-VAE 框架通过级联信息流方式最小化连续潜变量的总相关性，并通过分离离散特征的推理过程减轻编码器负担，最后在实验中显示其显著优于现有方法的分离得分和推理网络分类得分。

    May, 2019

  • 门控变分自编码器：融合弱监督以促进解缠

    本文讨论了利用弱监督方法进行可变自编码器（Variational AutoEncoders，VAEs）的训练过程，并提出了一种称为Gated-VAE的新模型来实现VAEs的解缠结性。该方法包括对表示嵌入进行划分和门控反向传播。实验结果表明，采用门控反向传播，比采用不带门控的VAEs模型在平均解缠结度、完整度和信息量方面都有所提高。

    Nov, 2019

  • 利用部分信息分解进行解缠分析

    提出了一种分析多元表示如何解开基础生成因素的框架，通过部分信息分解方法分析多元表示中的信息共享并提出了新的分离度量，实验发现分离度量对纠缠反应正确，发现分离度量相似的自编码器模型在纠缠方面有不同的特征，需要采用不同的策略来获得分离表示。

    Aug, 2021

  • VAE解缠结先决条件: 感知重叠

    本文研究如何通过修改重建损失来实现VAE的去纠缠表征，并提出一种广义对抗训练的数据集来破解现有的去纠缠框架。

    Feb, 2022

  • 因子量化变分自编码器的解耦

    本研究解决了解耦表示学习中的真相信息缺失问题，提出了一种通过离散变分自编码器（VAE）来实现解耦的新方法。研究表明，结合全局代码簿的标量量化和总相关优化项能够显著提升解耦效果与重构性能，FactorQVAE方法在两个解耦指标上优于以往的解耦方法，具有重要的应用潜力。

    Sep, 2024

  • α-TCVAE：解耦与多样性之间的关系

    本研究解决了解耦表示在生成建模中的有限适用性问题，通过引入一种新颖的总相关性下界（TC），优化变分自编码器（α-TCVAE），以最大化解耦和潜在变量的信息性。研究表明，α-TCVAE 在复杂数据集上能够学习到更加解耦的表示，并生成更多样化的观察结果，为机器学习领域提供了更好的生成能力和应用潜力。

    Nov, 2024