ICMLNov, 2022

变分 Laplace 自编码器

PDF
TL;DR该研究提出了一种名为 “变分 Laplace 自动编码器” 的深度生成模型的一般框架，在近似后验分布时采用拉普拉斯近似方法，提高后验表现，同时减少摊销误差。在 MNIST，Omniglot，Fashion-MNIST，SVHN 和 CIFAR10 数据集上进行的实验证明，该方法显着优于 ReLU 网络上其他最近的摊销或迭代方法。
variational autoencodersamortized variational inferenceposterior approximationdeep generative modelslaplace approximation
发现论文，激发创造
  • 摊销推断正则化

    本论文提出了一种控制推理模型平滑性的技术 - Amortized Inference Regularization (AIR)，该技术能够提高 VAE 模型的推理和生成性能，并挑战了对 amortized inference 仅仅只是最大似然训练的一种近似方法的信仰，为理解和提高 VAEs 中的泛化能力提供了新方向。

    May, 2018

  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 自编码变分自编码器

    本文证明了一种名义上训练过的变分自编码器（VAE）并不一定能够为其能够生成的典型样本便捷地进行推理，介绍了一种自一致性的概念来修正这种行为，并提出了一种基于马尔可夫链的变分近似分布的替代构造方法，具有自监督的后处理环节，可以使其生成的表示更加鲁棒，同时提供了 ColorMnist 和 CelebA 基准数据集上的实验结果。

    Dec, 2020

  • 共享弱化变分推理的元学习

    提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型，使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布，我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络，相比于 Monte-Carlo 近似的早期工作，我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性，并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估，证明了它比以前的方法具有更好的性能。

    Aug, 2020

  • 信息最大化变分自编码器

    本篇研究提出了新的目标函数（InfoVAE）解决了现有训练标准带来的问题，大大提高了变分后验的质量，并使得潜在特征得到了有效利用，从而在多个性能指标上优于其他竞争方法。

    Jun, 2017

  • 迭代摊销推断

    我们提出了迭代推理模型，它通过反复编码梯度来学习执行推理优化，从而实现对标准推理模型在多个基准数据集的图像和文本上的超越。

    Jul, 2018

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 对抗变分贝叶斯：统一变分自编码器和生成对抗网络

    介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

    Jan, 2017