研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Sep, 2019

通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

Jun, 2022

通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

Dec, 2022

通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以 beta 的正则化项产生一个 beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与 1 不同的 beta 值违反了条件概率的定律。为了提供一个类似参数的 VAE，我们开发了一种 Renyi（相对于 Shannon）熵 VAE 以及引入类似参数的变分近似 RELBO。Renyi VAE 具有额外的 Renyi 正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

Dec, 2023

Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

Apr, 2020

本文通过对线性变分自编码器和概率 PCA 之间的直接对应关系进行分析，提出了有关后验崩溃的简单而直观的解释。从计算角度出发证明了线性 VAE 的 ELBO 目标不会引入附加的虚假局部极值，进一步证明了使用确切变分推理培训线性 VAE 可以恢复对应于主成分方向的全局最大值。同时，我们的线性分析对于高容量的非线性 VAEs 具有预测性，并有助于解释观察噪声，局部最大值和后验崩溃之间的关系。

Nov, 2019

本文介绍了一种新的变分自编码器 (VAE) 的重构项，它特别惩罚生成模糊图像的能力，同时仍然最大化建模分布下的 ELBO。在三个不同的数据集上展示了该损失函数的潜力，优于 VAE 的几种最近提出的重建损失。

Apr, 2023

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

Nov, 2022

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023