May, 2018

哈密顿变分自编码器

HTML
PDF
TL;DR利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。
发现论文，激发创造
  • 蒙特卡罗目标的变分推断

    通过使用多样本重要性采样和无偏梯度估计器优化变分下界，从而提高潜变量模型的训练效果。

    Feb, 2016

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到KL散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 不要怪ELBO！线性VAE视角下的后验崩溃问题

    本文通过对线性变分自编码器和概率PCA之间的直接对应关系进行分析，提出了有关后验崩溃的简单而直观的解释。从计算角度出发证明了线性VAE的ELBO目标不会引入附加的虚假局部极值，进一步证明了使用确切变分推理培训线性VAE可以恢复对应于主成分方向的全局最大值。同时，我们的线性分析对于高容量的非线性VAEs具有预测性，并有助于解释观察噪声，局部最大值和后验崩溃之间的关系。

    Nov, 2019

  • 蒙特卡罗变分自编码器

    本文提出了Monte Carlo VAE方法，并通过在多个应用中的表现来说明其性能，该方法在Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling等方面都做了较全面的探讨。

    Jun, 2021

  • 拥抱差距：VAE执行独立机制分析

    通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交Jacobian矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明ELBO收敛到正则化对数似然。

    Jun, 2022

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 重置一个已损坏的固定ELBO

    通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以beta的正则化项产生一个beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与1不同的beta值违反了条件概率的定律。为了提供一个类似参数的VAE，我们开发了一种Renyi（相对于Shannon）熵VAE以及引入类似参数的变分近似RELBO。Renyi VAE具有额外的Renyi正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

    Dec, 2023

  • Epanechnikov变分自编码器

    本文通过将核密度估计应用于变分自动编码器 (VAEs)，近似后验概率分布，推导出极大似然下界 (ELBO) 中 KL 散度的上界，展示了 Epanechnikov 核在最小化 KL 散度上界方面的优势。在MNIST、Fashion-MNIST、CIFAR-10和CelebA等基准数据集上的实验证明了 Epanechnikov 变分自动编码器 (EVAE) 在重建图像质量方面的卓越性能。

    May, 2024

  • ED-VAE：变分自编码器中ELBO的熵分解

    这项工作介绍了熵分解变分自编码器（ED-VAE），它是对ELBO的新的重新制定，明确包括熵和交叉熵组件。通过提供对潜空间的编码和正则化的更详细控制，ED-VAE不仅提高了可解释性，还有效捕捉到潜在变量和观测数据之间的复杂相互作用，从而提高了生成性能。

    Jul, 2024

  • 基于重要性加权变分推断的学习：VR-IWAE界限梯度估计的渐近分析

    本文研究了重要性加权变分推断中的变分界限选择对结果的影响，填补了这一方法论中的空白。作者提出了对重参数化和双重重参数化梯度估计的分析，揭示了这些估计的优缺点，并比较了ELBO、IWAE和VR界限的方法。这项研究有助于深化对重要性加权变分推断方法的理解，并通过实证展示了理论发现。

    Oct, 2024