ICMLJul, 2018

使用生成式跳跃模型避免潜变量坍塌

PDF
TL;DR本篇论文提出了一种新的方法，通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题，研究表明，在保持预测性能的同时，相比现有的 VAE 体系结构，生成跳跃模型具有更少的崩溃现象，并提供更有意义的数据表示。
variational autoencoderslatent variable collapsegenerative skip modelsmutual informationpredictive performance
发现论文，激发创造
  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 使用 delta-VAEs 预防后向崩溃

    针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

    Jan, 2019

  • 后验崩溃和潜变量不可辨识性

    本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别，提出了一类具有潜变量可识别性的深度生成模型，并证明了它们可以通过概率单射 Brenier maps 实现参数化，在合成和实际数据集上优于现有方法，从而解决了后验坍塌问题。

    Jan, 2023

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • 低维数据存在下的变分自编码器：优化空间及内在偏向

    本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。

    Dec, 2021

  • 线性条件和分层变分自编码器中的后验坍塌

    该论文通过对条件 VAEs 和层级 VAEs 进行理论分析，证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响，并在实验中验证了理论结果。

    Jun, 2023

  • 变分自编码器中学习潜在子空间

    本文提出了一种基于变分自编码器的生成模型，使用互信息最小化学习与每个标签相关的低维潜空间，并展示了其在特征操作上的实用性。

    Dec, 2018