提出了一种用于概率模型的折叠变分推断算法的通用方法，该方法整合了许多现有的折叠变分推断方法，并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。

Jun, 2012

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

Jan, 2016

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

May, 2018

介绍了一种用于构建结构化变分族的自动化方法。这些凸优化族可以捕获复杂的统计依赖关系，并可用于一个非常大的模型族，包括连续和离散变量。通过在 TensorFlow Probability 中提供 ASVI 的开源实现，发现其表现较其他主流方法更佳。

Feb, 2020

本论文引入了分层抽样的方法，实现了对混合分布的自动微分变分推断（ADVI）； 并且通过建立重要性加权自编码器（IWAE）类似的较紧下界，进一步验证了该方法相较于传统ELBO或IWAE的优势，特别是在latents变量中有多峰分布时，表现出更高的准确性和更好的校准性。

Mar, 2020

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

我们提出了一种称为 Diffusion Model Variational Inference (DMVI) 的新方法，用于在概率编程语言 (PPLs) 中进行近似推断。DMVI 利用扩散模型作为真实后验分布的变分逼近，通过推导贝叶斯建模中使用的边际似然目标的新的上界。DMVI 实现简单，允许在 PPLs 中进行无麻烦的推断，并且不像使用标准化流进行变分推断那样有任何限制条件。我们对一组常见的贝叶斯模型进行了 DMVI 的评估，并展示其后验推断通常比 PPLs 中的现代方法更准确，同时计算成本相似且需要较少的手动调整。

Nov, 2023

引入支持分解变分推断（SDVI）方法，对具有随机支持的概率编程进行变分推断，通过将程序分解为包含静态支持的子程序，并自动构建相应的子导引，从而改善了推断性能。

Nov, 2023

我们提出了一种基于样条的非参数逼近方法，可以灵活逼近具有复杂结构的后验分布，如偏度、多峰性和有界支持。通过采用样条逼近，我们得到了重要性加权自编码器的下界，并建立了渐近一致性。实验证明了该方法在逼近复杂的后验分布和提高具有不完整数据的生成模型性能方面的高效性。

Mar, 2024