本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

Feb, 2021

研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Sep, 2019

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023

本文提出了一种方法，将变分自编码器和深度度量学习相结合，以在高维和结构化的输入空间上执行贝叶斯优化。通过深度度量学习中的想法，利用黑盒函数的标签指导来构造 VAE 潜在空间，促进高斯过程拟合，从而改善 BO 性能。重要的是，该方法在半监督环境下运行，在只有少量标记数据点可用时表现良好。在三个真实世界任务上进行实验，在罚款 logP 分子生成基准测试中取得了最先进的成果，仅需之前方法所需标记数据的 3％。作为理论贡献，我们提出了 VAE BO 的消失遗憾证明。

Jun, 2021

该论文探讨了变分自编码器（VAEs）的一个微妙方面，着重解释了 Kullback Leibler（KL）散度，这是 Evidence Lower Bound（ELBO）中的一个关键组成部分，用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO，引入正则化项以防止方差崩溃，并使用 PatchGAN 鉴别器增强纹理真实性，该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸，为增强基于 VAE 的生成模型提供了有希望的解决方案。

Sep, 2023

本文提供了一种通用且有效的变分间隙上限估算方法，使得我们可以高效地对 VAE 模型的真实证据进行估算，并且借助我们的估算方法，容易获得 VAE 模型对数似然的上限和下限。

Jun, 2022

基于变分自编码器的贝叶斯优化（VAE-BO）在处理高维结构化优化问题方面表现出出色的性能。我们提出了一种新颖的方法，通过利用无标签数据的引导，来有效地利用无标签数据与有标签数据进行训练，从而增强鉴别性潜空间的构建。本文中的方法在各种优化场景中胜过现有的 VAE-BO 算法。

Dec, 2023

通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以 beta 的正则化项产生一个 beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与 1 不同的 beta 值违反了条件概率的定律。为了提供一个类似参数的 VAE，我们开发了一种 Renyi（相对于 Shannon）熵 VAE 以及引入类似参数的变分近似 RELBO。Renyi VAE 具有额外的 Renyi 正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

Dec, 2023

通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

Jun, 2022

本文介绍了一种新的变分自编码器 (VAE) 的重构项，它特别惩罚生成模糊图像的能力，同时仍然最大化建模分布下的 ELBO。在三个不同的数据集上展示了该损失函数的潜力，优于 VAE 的几种最近提出的重建损失。

Apr, 2023