Sep, 2023

CR-VAE: 鉴别性正则化用于变分自动编码器以防止后验崩溃

PDF
TL;DR通过引入对比度正则化（CR-VAE）方法，我们扩展了变分自编码器（VAE），使其能够最大化相似视觉输入表示之间的互信息，从而有效避免了后验崩溃现象。在一系列视觉数据集上的评估中，我们证明了 CR-VAE 在防止后验崩溃方面优于其他现有方法。
variational autoencoderposterior collapsecontrastive regularizationcr-vaemutual information
发现论文，激发创造
  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 利用协变量信息的表示学习预防 iVAE 后验崩溃

    研究了可识别变分自编码器，在生成结构中使用辅助协变量来从协变量到观测值和独立组件（IC）中学习潜在的独立组件，并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。

    Feb, 2022

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 对比变分自编码器增强显著特征

    本文介绍了一种结合对比学习和深度生成模型的对比变分自编码器 (cVAE)，旨在通过训练共享特征和不同特征的模型来发现和增强突出的潜在特征。实验表明，cVAE 可以有效地发现在特定分析中显著的潜在结构。

    Feb, 2019

  • 通过对译码器网络进行反 Lipschitz 限制来控制后验坍塌

    本文针对变分自编码器中的后验崩溃问题，提出了一种基于反 Lipschitz 神经网络的方法，并在多个数值实验中证明了其有效性。

    Apr, 2023

  • 批归一化推理网络防止 KL 消失

    该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder（VAE）寻找 “后验塌缩”（posterior collapse）的局部最优解，该方法不需要引入新的模型组件或修改目标，可有效地、高效地避免后验塌缩，尤其在语言建模、文本分类和对话生成等任务上表现优异，且与 VAE 训练时间几乎相同。

    Apr, 2020

  • 噪声对比变分自编码器

    本文理论上探索了几种流行的变分自编码模型，在启发于噪声对比评估算法的基础上，提出了一种新的算法 NC-VAE，在数据重构能力上不会出现后验崩溃问题，提供了新的下界，并在图像和文本数据集上进行了实证展示。

    Jul, 2019