本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

Aug, 2016

本文介绍一种名为核式隐式变分推断的新方法，可以成功地将隐式变分推断应用于贝叶斯神经网络，并在回归和分类任务上展现了有前途的结果。

May, 2017

使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

May, 2018

本文提出一种无偏隐式变分推断 (UIVI) 方法，通过定义具有表现力的变分族扩展变分推断的适用性，并直接优化证据下界 (ELBO)，通过简单可重参数化分布和任意灵活的深度神经网络，获得多项式逻辑回归和变分自编码器等多个模型的更紧 ELBO 和更好的预测性能。

Aug, 2018

提出了一种名为DSIVI的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的ELBO下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。

Oct, 2018

该论文提出了一种基于变分贝叶斯核选择算法的稀疏高斯过程回归模型，通过将核表示成一个随机变量，并利用其先验和后验信念来学习其不确定性，进而避免避免过度自信，通过随机梯度上升的方法来迭代地最大化变分下界以提高精度，该方法适用于大规模数据集。

Dec, 2019

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM在各种贝叶斯推理任务中准确性与MCMC相当，并且优于基于ELBO的SIVI方法。

Aug, 2023

本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。

Oct, 2023

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024