Mar, 2024

使用混合变分族集合提升不完整数据的变分自动编码器估计

PDF
TL;DR研究了在数据不完整的情况下对变分自动编码器的估计任务，发现缺失数据增加了模型后验分布对潜变量的复杂性，从而影响了模型的拟合。通过引入两种策略（有限变分混合和基于插补的变分混合分布），解决了增加的后验复杂性问题。通过全面评估这些方法，结果表明变分混合对不完整数据的变分自动编码器估计准确性具有提升效果。
variational autoencodersincomplete dataposterior distributionvariational mixturesestimation
发现论文，激发创造
  • 利用变分自编码器处理不完整的异质数据

    本文提出了 HI-VAE—— 一种能够处理必不可少的异构性和不完整数据的通用 VAE 设计框架，包括实数，正实数，区间，分类，序数和计数数据的似然模型，并展示了在监督任务中具有竞争性的预测性能。

    Jul, 2018

  • 缺失数据下的 VAEs

    开发了一种新颖的潜在变量模型，通过生成缺失数据的损坏过程对处理缺失数据集进行了模糊处理，并推导出相应的易于实现、可处理可随机缺失和不随机缺失数据、适用于高维输入、VAE 编码器和解码器原则性访问指标变量以确定数据元素是否缺失的可跟踪证据下限 (ELBO)。在 MNIST 和 SVHN 数据集上，相比现有方法，证明了观测数据的边际对数似然和更好的缺失数据插值提高。

    Jun, 2020

  • 变分自编码器中缺失数据的后验一致性

    通过提出一种正则化方法来提高变分自动编码器（VAEs）对于缺失数据的后验一致性，从而改善了缺失数据条件下的重构质量和利用潜在空间中的不确定性进行下游任务的绩效。

    Oct, 2023

  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 无限变分自编码器用于半监督学习

    本文提出了一种基于混合模型和狄利克雷过程的无限变分自编码器，其容量能够适应输入数据，从而使得自动编码器数量能够根据数据自动变化，实验结果表明该方法在半监督学习中具有很高的灵活性。

    Nov, 2016

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 黑盒变分推断中的高效混合学习

    通过引入 Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的 black box variational inference（BBVI）下的 ELBO 估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

    Jun, 2024

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024

  • 变分推断中的分布匹配

    本文揭示了 Variational Autoencoders (VAEs) 的局限性，它们无法稳定地学习潜在空间和可见空间中的边缘分布，因为学习过程是通过匹配条件分布进行的。同时，文章通过大规模的评估 VAE-GAN 混合模型并分析类概率估计对分布学习的影响，得出 VAE-GAN 混合模型在可扩展性、评估和推理方面比 VAE 更加困难，无法提高 GAN 的生成质量。

    Feb, 2018