Jun, 2021

蒙特卡罗变分自编码器

HTML
PDF
TL;DR本文提出了Monte Carlo VAE方法，并通过在多个应用中的表现来说明其性能，该方法在Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling等方面都做了较全面的探讨。
发现论文，激发创造
  • 哈密顿变分自编码器

    利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

    May, 2018

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到KL散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 使用退火重要性采样学习深度生成模型

    本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法，该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

    Jun, 2019

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制Variational Auto-Encoder的一致性，通过最小化Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种VAE的变种，并使用神经网络学习编码器/解码器的参数来比较这些变种与原始VAE的ELBO逼近。其中一种变化导致了一个EUBO，可以与原始ELBO一起用于研究VAE的收敛性。

    Dec, 2022

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 基于$χ^2$散度的变分重要采样

    通过最小化前向χ^2散度来优化建议分布以增强对数似然估计，我们引入了一种称为变分重要性抽样（VIS）的新方法，实现了直接估计和最大化对数似然。将VIS应用于各种流行的潜变量模型，包括混合模型、变分自编码器和部分可观测广义线性模型，结果显示我们的方法在对数似然和模型参数估计方面始终优于最先进的基准模型。

    Nov, 2023

  • 重置一个已损坏的固定ELBO

    通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以beta的正则化项产生一个beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与1不同的beta值违反了条件概率的定律。为了提供一个类似参数的VAE，我们开发了一种Renyi（相对于Shannon）熵VAE以及引入类似参数的变分近似RELBO。Renyi VAE具有额外的Renyi正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

    Dec, 2023

  • ED-VAE：变分自编码器中ELBO的熵分解

    这项工作介绍了熵分解变分自编码器（ED-VAE），它是对ELBO的新的重新制定，明确包括熵和交叉熵组件。通过提供对潜空间的编码和正则化的更详细控制，ED-VAE不仅提高了可解释性，还有效捕捉到潜在变量和观测数据之间的复杂相互作用，从而提高了生成性能。

    Jul, 2024

  • 通过随机梯度退火重要性采样的高斯过程潜变量模型变分学习

    该研究针对高维空间或复杂数据集中生成有效提议分布的挑战，提出了一种退火重要性采样方法，以改进高斯过程潜变量模型的变分推断。通过将后验变换为一系列中间分布，该方法结合了序列蒙特卡洛采样器和变分推断的优势，从而提升了变分界限的紧致性和模型的收敛性。实验结果显示，所提方法在多个数据集上优于现有最先进技术。

    Aug, 2024