ICMLJun, 2020

使用校准解码器进行简单有效的 VAE 训练

PDF
TL;DR本文针对 VAE 模型中的超参数调整问题，研究了校准解码器的作用和对 VAE 性能的影响，提出了一种简单但有效的高斯解码器改进方法。通过对多种数据集和模型的综合分析，我们得出了使用校准解码器进行 VAE 训练的建议。
variational autoencoderscalibrated decoderslatent variablehyperparameter tuningvae performance
发现论文，激发创造
  • 变分自编码器教程

    介绍了变分自编码器（VAE）背后的直觉，解释了其背后的数学原理，并描述了它们的一些经验行为。

    Jun, 2016

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 从变分到确定性自编码器

    提出一种基于正则化的确定性编码器和解码器的生成模型框架，替换 VAEs 中的随机性来达到优化潜在空间的目的，并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。

    Mar, 2019

  • 诊断和优化 VAE 模型

    本研究针对变分自编码器（VAEs）的效率和各种假设，提出了新的 VAE 增强方案，该方案不需要任何超参数或敏感调整，并且与多种 GAN 模型竞争时，能产生清晰的样本和稳定的 FID 分数。

    Mar, 2019

  • 优化用于视觉任务的变分自编码器潜在表示中的不确定性

    深度学习方法在计算神经科学中作为建模工具变得越来越重要，本文系统地研究了变分自编码器的不确定性表示，提出了一种新的方法解释偏离变分自编码器 (EA-VAEs)，并发现它在各种情况下能够产生有意义的不确定性报告，可在计算神经科学的感知模型和计算机视觉的推理工具中发挥作用。

    Apr, 2024

  • 低维数据存在下的变分自编码器：优化空间及内在偏向

    本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。

    Dec, 2021

  • 多解码器 VAE 生成基于字符串的分子

    本文提出使用多个解码器共享单个编码器的整合技术来改进变分自动编码器在字符串基分子生成任务中的性能，利用两个主要技术：（a）对每个解码器采样不同的潜在变量以鼓励多样性，（b）使用协同损失来控制使用不同潜在变量的解码器的聚合质量。在实验中，该方法效果显著，特别是在生成来自域外分布的样本时。

    Aug, 2022

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019