ICLRFeb, 2023

分层变分自编码器中潜变量之间的交易信息

PDF
TL;DR此论文研究了层次化变分自编码器中速率 / 失真权衡的问题，并提出了一个通用类别的推理模型，可以将解码速度分成各层的贡献，从而可以独立调节。我们根据下游任务的理论性能作为各个层速率的函数推导了理论界限，并在大规模实验中验证了我们的理论发现，这为从事者在一个给定应用程序中目标速率空间提供了指导。
variational autoencodersinformation contentdistortionhierarchical vaesinference models
发现论文，激发创造
  • 可传递信息理论及其在深度生成模型中的应用

    本文介绍了一种基于控制先验和层次结构的基于变分自编码器 (SemafoVAE) 来实现分离表示和生成高质量图像的方法。

    Mar, 2022

  • 有界信息速率变分自编码器

    该论文介绍了一种新型的变分自编码器（VAEs）——Bounded-Information-Rate Variational Autoencoder（BIR-VAE），通过限制潜层传输的信息速率，将互信息和似然概率结合，提供了一种可以被系统设计者直接指定为比特的信息分辨率，提高了潜在信息的意义，同时有助于避免过拟合，并以较低的计算复杂度达到了至少与同类算法相同的性能。

    Jul, 2018

  • 多速率 VAE：只训练一次，即可得到完整的速率失真曲线

    本文提出了一种称为多速率 VAE（MR-VAE）的计算有效的框架，其可以在单次训练运行中学习与各种 $\beta$ 相应的最佳参数，通过使用超网络显式地公式让 $\beta$ 映射到最佳参数，并且 MR-VAE 可以构建速率 - 失真曲线，无需额外训练，并且可以在较少的超参数调整下部署。

    Dec, 2022

  • 信息最大化变分自编码器

    本篇研究提出了新的目标函数（InfoVAE）解决了现有训练标准带来的问题，大大提高了变分后验的质量，并使得潜在特征得到了有效利用，从而在多个性能指标上优于其他竞争方法。

    Jun, 2017

  • 非参数变分自编码器用于分层表示学习

    本文提出了一种层次非参数变分自编码器模型，以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间，进而在视频表征学习上取得更好的效果。

    Mar, 2017

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • 理解 $β$-VAE 中的解缠

    本文以率失真理论为角度，探讨优化 $eta$-VAE 的修正 ELBO 下界时，在训练过程中的潜在编码信息容量逐渐增加的情况下，哪些情况下会出现与数据生成因素相对应的编码表示，我们基于这些洞见提出了一种修改 $eta$-VAE 训练机制的方法，可以在不降低重构精度的情况下有力地学习到解缠合表示。

    Apr, 2018

  • 基于理论边界导向的分层 VAE 神经图像编解码器

    基于理论边界指导的分层变分自动编码器 (BG-VAE) 通过引导神经图像编解码器 (NIC) 模型，利用率失真理论上边界来提升性能。通过实验证明，BG-VAE 在考虑率失真性能和计算复杂度时优于现有方法。

    Mar, 2024

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 树形变分自编码器

    提出了一种新的生成分层聚类模型 ——Tree Variational Autoencoder（TreeVAE），它能够分层地划分样本并发现数据中潜在结构，并利用树形结构中的叶子节点解码器提高了生成性能。TreeVAE 在不同的数据集上表现出了较高的对数似然下界，并且通过条件采样能够从聚类中生成新的样本。

    Jun, 2023