Mar, 2024

面向模型不可知的后验近似以实现快速准确的变分自编码器

HTML
PDF
TL;DR学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于MAPA的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。
发现论文，激发创造
  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 摊销推断正则化

    本论文提出了一种控制推理模型平滑性的技术 - Amortized Inference Regularization(AIR)，该技术能够提高VAE模型的推理和生成性能，并挑战了对amortized inference仅仅只是最大似然训练的一种近似方法的信仰，为理解和提高VAEs中的泛化能力提供了新方向。

    May, 2018

  • 迭代摊销推断

    我们提出了迭代推理模型，它通过反复编码梯度来学习执行推理优化，从而实现对标准推理模型在多个基准数据集的图像和文本上的超越。

    Jul, 2018

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到KL散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器(VAE)在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进VAE的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 元摊分变分推断与学习

    本文提出了一种双重摊销变分推理过程来解决传统推理技术训练的生成模型在适应新分布时遇到的困难，通过学习可转移潜在表示，在不同的概率模型之间推广，特别地，应用于图像分布上，该方法在 MNIST 和 NORB 的下游图像分类任务中显著优于基线（分别达 10-50% 和 10-35% 的准确率提升）

    Feb, 2019

  • 关于 $β$-VAEs 中的隐式正则化

    本文探讨了变分推断在学习生成模型和正则化变分自编码器中的作用，并提出了一种基于确定性自编码器目标函数的正则化方法，该方法与 $eta$-VAE 表现相似。

    Jan, 2020

  • 变分Laplace自编码器

    该研究提出了一种名为“变分Laplace自动编码器”的深度生成模型的一般框架，在近似后验分布时采用拉普拉斯近似方法，提高后验表现，同时减少摊销误差。在MNIST，Omniglot，Fashion-MNIST，SVHN和CIFAR10数据集上进行的实验证明，该方法显着优于ReLU网络上其他最近的摊销或迭代方法。

    Nov, 2022

  • 分层变分自编码器中潜变量之间的交易信息

    此论文研究了层次化变分自编码器中速率/失真权衡的问题，并提出了一个通用类别的推理模型，可以将解码速度分成各层的贡献，从而可以独立调节。我们根据下游任务的理论性能作为各个层速率的函数推导了理论界限，并在大规模实验中验证了我们的理论发现，这为从事者在一个给定应用程序中目标速率空间提供了指导。

    Feb, 2023

  • 在变分自动编码器中匹配聚合后验概率

    通过改进目标函数，提出了新的自动编码器模型AVAE，利用KDE来建模高维度下的边缘后验分布，通过多个基准数据集的实证评估验证了AVAE相对于SOTA方法的有效性。

    Nov, 2023