Mar, 2023

Beta-VAE 具有 2 种行为：PCA 或 ICA？

PDF
TL;DR通过展开瓶颈层，逐步将信息传递给解码器，Beta-VAE 模型实现了对解耦表示的学习。我们的实验表明，潜变量的总数对学习到的表示有影响，潜变量的数量少时，网络学习到的是最重要或主要的变量，而随着潜变量的数量增加，这些变量越来越解耦，表现为独立成分分析。我们认为这是由于潜变量之间的竞争导致了信息带宽的现象。
beta-vaedisentangled representation learningexpanding bottlenecklatent variablesinformation bandwidth
发现论文，激发创造
  • 变分自编码器无意中寻找主成分分析方向

    该论文研究了变分自编码器（VAE）在学习可解释的表示和生成建模方面的出色表现，提供了对其良好性能的解释，阐明了该架构中解码器的局部正交性，从而促进重构和正交性之间的平衡。

    Dec, 2018

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 变分自编码器中的解缠纷问题

    本文提出了 VAEs 的解耦合方法，即分解潜在表示，通过先验中有结构的聚合编码和适当的重叠来满足。这种分解不仅能实现特定的解耦，还可通过引入先验来实现其他更丰富类型的约束，并通过控制先验和潜在空间分布来改善解耦效果。此外，还介绍了另一套训练目标和先验选择来控制分解和解耦，并对 β-VAE 在控制潜在空间重叠方面的性质进行了分析。

    Dec, 2018

  • 因式分解解开纠缠

    我们提出了一种被称为 FactorVAE 的方法，它可以无监督地学习从独立变化因素生成的数据中发现因素解耦的表示，并通过提供更好的解耦和重构质量之间的平衡得到改进。此外，我们还介绍了一个新的解耦评估度量，并阐明了常用的解耦评估度量存在的问题。

    Feb, 2018

  • BIVA：深层潜变量的非常深层次生成建模

    本研究构建了可以有效利用深层随机变量的 VAE 模型，并介绍了一种双向推理 VAE (BIVA) ，其具有一个跳跃连接的生成模型和一个由双向随机推理路径构成的推理网络，该模型达到了最先进的测试似然度，可用于异常检测，并扩展到半监督分类任务，表现良好。

    Feb, 2019

  • 变分自编码器和非线性 ICA: 一个统一的框架

    该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别，从而实现了对深度潜在变量模型的拆分，论文中提出了一种新的非线性独立成分分析框架，该框架同时适用于具有噪音、欠完备或离散观测的情况。

    Jul, 2019

  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018

  • 使用 delta-VAEs 预防后向崩溃

    针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

    Jan, 2019

  • 利用协变量信息的表示学习预防 iVAE 后验崩溃

    研究了可识别变分自编码器，在生成结构中使用辅助协变量来从协变量到观测值和独立组件（IC）中学习潜在的独立组件，并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。

    Feb, 2022