Apr, 2023

通过对译码器网络进行反 Lipschitz 限制来控制后验坍塌

PDF
TL;DR本文针对变分自编码器中的后验崩溃问题，提出了一种基于反 Lipschitz 神经网络的方法，并在多个数值实验中证明了其有效性。
variational autoencoderposterior collapseinverse lipschitz neural networkdeep generative modellatent structure
发现论文，激发创造
  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 线性条件和分层变分自编码器中的后验坍塌

    该论文通过对条件 VAEs 和层级 VAEs 进行理论分析，证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响，并在实验中验证了理论结果。

    Jun, 2023

  • 使用 delta-VAEs 预防后向崩溃

    针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

    Jan, 2019

  • 论序列 VAE 中后验崩溃和编码器特征分散

    论文提出通过 pooling 来增加编码器特征的差异性，以防止 Variational autoencoders 中 posterior collapse 现象的出现，从而在数据对数似然方面取得了显著提高。

    Nov, 2019

  • 后验崩溃和潜变量不可辨识性

    本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别，提出了一类具有潜变量可识别性的深度生成模型，并证明了它们可以通过概率单射 Brenier maps 实现参数化，在合成和实际数据集上优于现有方法，从而解决了后验坍塌问题。

    Jan, 2023

  • 邻居嵌入变分自编码器

    本文介绍了变分自编码器（VAE）在 posterior collapse 现象中的缺陷，并提出了一种基于邻居嵌入的 VAE（NE-VAE）模型，它能够防止 posterior collapse 现象的发生，同时保留大部分潜变量维度的活跃性，有利于下游的潜空间优化任务。

    Mar, 2021

  • 论变分文本建模及其相关领域中编码器 - 解码器不兼容性问题

    本文提出 Coupled-VAE 方法，通过 encoder weight sharing 和 decoder signal matching 来改善 variational autoencoders 的编码器和解码器参数，从而避免后验网络落入常见的局部最优解。实验结果表明该方法可显着提高概率估计和空间潜变量的丰富度，并将其推广到条件语言建模中。

    Apr, 2020

  • CR-VAE: 鉴别性正则化用于变分自动编码器以防止后验崩溃

    通过引入对比度正则化（CR-VAE）方法，我们扩展了变分自编码器（VAE），使其能够最大化相似视觉输入表示之间的互信息，从而有效避免了后验崩溃现象。在一系列视觉数据集上的评估中，我们证明了 CR-VAE 在防止后验崩溃方面优于其他现有方法。

    Sep, 2023

  • 利用协变量信息的表示学习预防 iVAE 后验崩溃

    研究了可识别变分自编码器，在生成结构中使用辅助协变量来从协变量到观测值和独立组件（IC）中学习潜在的独立组件，并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。

    Feb, 2022