研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

Sep, 2019

本文提供了一种通用且有效的变分间隙上限估算方法，使得我们可以高效地对 VAE 模型的真实证据进行估算，并且借助我们的估算方法，容易获得 VAE 模型对数似然的上限和下限。

Jun, 2022

提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

Nov, 2017

通过在已知数据上进行推理的一类生成概率潜变量模型，变分自编码器（VAEs）通过平衡重建和正则化项。乘以 beta 的正则化项产生一个 beta-VAE/ELBO，提高了潜空间的解缠性。然而，任何与 1 不同的 beta 值违反了条件概率的定律。为了提供一个类似参数的 VAE，我们开发了一种 Renyi（相对于 Shannon）熵 VAE 以及引入类似参数的变分近似 RELBO。Renyi VAE 具有额外的 Renyi 正则化项，其条件分布不是可学习的，这个项基本上通过奇异值分解方法进行了解析评估。

Dec, 2023

本研究分析了 Variational Autoencoders 的近似误差，探讨了该误差的多种可能性并找到了其一致子集。重要的是，此子集无法通过考虑更深的编码器 / 解码器网络进行扩大，也无法降低相应误差。

Feb, 2021

本论文提出了一种新的广义 ELBO（证据下界）公式，用于多模态数据的无监督生成模型，解决了现有方法中语义连贯性和能力之间的平衡问题，并在实验中展示了方法相对于现有技术的优势。

May, 2021

通过研究非线性的变分自编码器，本文证明了在接近确定性解码器的情况下，最优编码器近似反转了解码器，并确定了最大化 ELBO（证据下界）的模型的独立机制分析（IMA）的概念，即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差，有助于恢复真实的潜在因素，并证明 ELBO 收敛到正则化对数似然。

Jun, 2022

本文提出一种用于逼近变分推断问题中 Evidence Lower Bound（ELBO）梯度的解析解，其中统计模型是由从一个高斯分布嵌入在无关干扰中得到的观测值构成的贝叶斯网络，该方法采用重新参数化技巧将梯度操作符移至期望内部，并依赖于似然函数在观测数据上分解的假设，从而导致变分分布通常比似然函数中的高斯分布更紧支撑，这使得对各个似然因子的高效局部近似成为可能，从而得到定义梯度期望的积分的解析解，我们将所提出的梯度近似集成为 EM（期望最大化）算法中的期望步骤，并在贝叶斯推断中与经典的确定性方法，如拉普拉斯逼近、期望传播和均场变分推断进行了测试，所提出的方法表现出良好的准确性和收敛速度，并具有线性计算复杂度。

Apr, 2024

本文研究了证据下界，ELBO 的 Fisher-Rao 梯度，该梯度在变分自动编码器，赫姆霍兹机和自由能原理的理论中起着关键作用。ELBO 的自然梯度与目标分布的 Kullback-Leibler 散度的自然梯度有关，这是学习的主要目标函数。基于信息几何中梯度的不变性属性，给出了确保最小化主要目标函数与最大化 ELBO 等价的基本模型条件。

Jul, 2023

基于熵的学习目标可用于标准概率稀疏编码，我们推导出此类目标，并通过数值实验证明了其可行性。我们研究了包括关联潜变量的高斯后验近似和深度自编码近似在内的不同后验近似方法，并通过熵退火技术实现了改进的学习效果。这是我们对标准概率稀疏编码的两个理论贡献之一，我们首次提供了此类非平凡后验近似的解析 ELBO 目标函数，并展示了如何利用 ELBO 收敛到熵和的最新研究成果进行学习。

Nov, 2023