ICLRJan, 2019

变分自编码器中落后的推断网络和后验崩溃

PDF
TL;DR本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。
variational autoencoderposterior collapseneural inference networklatent variablesapproximate posterior
发现论文，激发创造
  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 线性条件和分层变分自编码器中的后验坍塌

    该论文通过对条件 VAEs 和层级 VAEs 进行理论分析，证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响，并在实验中验证了理论结果。

    Jun, 2023

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024

  • 通过对译码器网络进行反 Lipschitz 限制来控制后验坍塌

    本文针对变分自编码器中的后验崩溃问题，提出了一种基于反 Lipschitz 神经网络的方法，并在多个数值实验中证明了其有效性。

    Apr, 2023

  • 批归一化推理网络防止 KL 消失

    该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder（VAE）寻找 “后验塌缩”（posterior collapse）的局部最优解，该方法不需要引入新的模型组件或修改目标，可有效地、高效地避免后验塌缩，尤其在语言建模、文本分类和对话生成等任务上表现优异，且与 VAE 训练时间几乎相同。

    Apr, 2020

  • 后验崩溃和潜变量不可辨识性

    本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别，提出了一类具有潜变量可识别性的深度生成模型，并证明了它们可以通过概率单射 Brenier maps 实现参数化，在合成和实际数据集上优于现有方法，从而解决了后验坍塌问题。

    Jan, 2023

  • 利用协变量信息的表示学习预防 iVAE 后验崩溃

    研究了可识别变分自编码器，在生成结构中使用辅助协变量来从协变量到观测值和独立组件（IC）中学习潜在的独立组件，并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。

    Feb, 2022

  • 使用生成式跳跃模型避免潜变量坍塌

    本篇论文提出了一种新的方法，通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题，研究表明，在保持预测性能的同时，相比现有的 VAE 体系结构，生成跳跃模型具有更少的崩溃现象，并提供更有意义的数据表示。

    Jul, 2018

  • 论序列 VAE 中后验崩溃和编码器特征分散

    论文提出通过 pooling 来增加编码器特征的差异性，以防止 Variational autoencoders 中 posterior collapse 现象的出现，从而在数据对数似然方面取得了显著提高。

    Nov, 2019