Jan, 2019

使用 delta-VAEs 预防后向崩溃

PDF
TL;DR针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。
latent variablegenerative modelsvariational lower boundrepresentation learningcifar-10
发现论文，激发创造
  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 通过对译码器网络进行反 Lipschitz 限制来控制后验坍塌

    本文针对变分自编码器中的后验崩溃问题，提出了一种基于反 Lipschitz 神经网络的方法，并在多个数值实验中证明了其有效性。

    Apr, 2023

  • 论序列 VAE 中后验崩溃和编码器特征分散

    论文提出通过 pooling 来增加编码器特征的差异性，以防止 Variational autoencoders 中 posterior collapse 现象的出现，从而在数据对数似然方面取得了显著提高。

    Nov, 2019

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 使用生成式跳跃模型避免潜变量坍塌

    本篇论文提出了一种新的方法，通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题，研究表明，在保持预测性能的同时，相比现有的 VAE 体系结构，生成跳跃模型具有更少的崩溃现象，并提供更有意义的数据表示。

    Jul, 2018

  • 利用协变量信息的表示学习预防 iVAE 后验崩溃

    研究了可识别变分自编码器，在生成结构中使用辅助协变量来从协变量到观测值和独立组件（IC）中学习潜在的独立组件，并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。

    Feb, 2022

  • 线性条件和分层变分自编码器中的后验坍塌

    该论文通过对条件 VAEs 和层级 VAEs 进行理论分析，证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响，并在实验中验证了理论结果。

    Jun, 2023

  • 线性 VAE 中的学习动力学：后验崩塌临界点、多余潜变空间陷阱和 KL 退火加速

    在这项研究中，对变分自编码器（VAEs）中的后验折叠问题进行了理论分析，发现学习动态会在输入维度趋近无限大时收敛为确定性过程。此外，研究还表明 VAE 最初学习到纠缠表示，并逐渐获得解耦表示。当超参数 β 超过某一阈值时，无论学习周期如何，后验折叠都是不可避免的。背景噪声引发了超量潜在变量，导致过拟合，损害了泛化和学习收敛性。研究还发现适当调整的 KL 渐近算法能加速收敛。

    Oct, 2023