本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

Jan, 2016

使用自动微分变分推理自动推导出高效的变分推理算法，使科学家可以更高效地循环实现多个概率模型，并应用于不同的数据集。

Mar, 2016

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法，该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

Jun, 2019

介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

Feb, 2020

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

使用加权样本进行概率密度函数估计是所有自适应重要性采样算法的主要基础。本文提出使用变分自编码器参数化的近似模型来解决传统非参数模型或参数模型在高维度和灵活性方面的问题，并结合重要性采样算法对目标分布进行采样。

Oct, 2023

我们提出了一种基于样条的非参数逼近方法，可以灵活逼近具有复杂结构的后验分布，如偏度、多峰性和有界支持。通过采用样条逼近，我们得到了重要性加权自编码器的下界，并建立了渐近一致性。实验证明了该方法在逼近复杂的后验分布和提高具有不完整数据的生成模型性能方面的高效性。

Mar, 2024

通过引入Multiple Importance Sampling Variational Autoencoder（MISVAE）和构建两个新的black box variational inference（BBVI）下的ELBO估计器，本文提出了解决了混合变分分布中元素个数扩展问题的两个方法，并在多个实验中验证了其可行性。

Jun, 2024

本文研究了重要性加权变分推断中的变分界限选择对结果的影响，填补了这一方法论中的空白。作者提出了对重参数化和双重重参数化梯度估计的分析，揭示了这些估计的优缺点，并比较了ELBO、IWAE和VR界限的方法。这项研究有助于深化对重要性加权变分推断方法的理解，并通过实证展示了理论发现。

Oct, 2024