变分自编码器的三种变体

MMDec, 2022

Three Variations on Variational Autoencoders

R. I. Cukier

TL;DR通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

Abstract

variational autoencoders (VAEs) are one class of generative probabilistic latent-variable models designed for inference based on known data. We develop three variations on VAEs by introducing a second parameterized encoder/decoder pair and, for one variation, an additional

variational autoencoders generative probabilistic latent-variable models neural network fixed encoder evidence lower bound

发现论文，激发创造

对抗变分贝叶斯：统一变分自编码器和生成对抗网络

介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

Jan, 2017

重置一个已损坏的固定 ELBO

通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以 beta 的正则化项产生一个 beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与 1 不同的 beta 值违反了条件概率的定律。为了提供一个类似参数的 VAE，我们开发了一种 Renyi（相对于 Shannon）熵 VAE 以及引入类似参数的变分近似 RELBO。Renyi VAE 具有额外的 Renyi 正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

Dec, 2023

变分自编码器教程

介绍了变分自编码器（VAE）背后的直觉，解释了其背后的数学原理，并描述了它们的一些经验行为。

Jun, 2016

eVAE: 进化变分自编码器

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023

哈密顿变分自编码器

利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

May, 2018

变分自编码器无意中寻找主成分分析方向

该论文研究了变分自编码器（VAE）在学习可解释的表示和生成建模方面的出色表现，提供了对其良好性能的解释，阐明了该架构中解码器的局部正交性，从而促进重构和正交性之间的平衡。

Dec, 2018

从变分到确定性自编码器

提出一种基于正则化的确定性编码器和解码器的生成模型框架，替换 VAEs 中的随机性来达到优化潜在空间的目的，并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。

Mar, 2019

变分自编码器简介

该论文介绍了变分自编码器及其重要扩展，它们提供了学习深度潜变量模型及对应推理模型的原则框架。

Jun, 2019

Poincaré 变分自编码器实现连续的分层表示

本文利用 Poincaré 球模型的超几何结构作为潜变量空间，研究了 VAE 在这个空间的运用，该方法在嵌套数据结构下表现出色，并展现了超几何结构对于 VAE 的优越性。

Jan, 2019

动态变分自编码器：综述

本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述，提出并讨论了动态变分自编码器 (DVAEs) 这一类模型，详细介绍了七种 DVAE 模型，并通过语音分析 - 重构任务的实验基准进行了验证，最后探讨了 DVAE 模型的重要问题和未来的研究方向。

Aug, 2020