使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.
May, 2018
提出了一种名为DSIVI的新型半隐变分推断方法，可以在先验分布和后验分布均为半隐式分布的模型中工作，其优化的ELBO下界是渐进精确的，在某些对隐式分布有利的问题中超过了现有方法的性能。
Oct, 2018
本文提出一种名为PFG的新粒子变分推断算法，采用一种 functional regularization 方法，支持更广泛的函数类，同时具有更好的可伸缩性和对恶劣条件分布的适应性，在渐进意义下连续地收敛于KL散度。
Nov, 2022
本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。
Jun, 2023
SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM在各种贝叶斯推理任务中准确性与MCMC相当，并且优于基于ELBO的SIVI方法。
Aug, 2023
该论文介绍了一种称为广义Wasserstein梯度下降（GWG）的粒子变分推断方法框架，基于KL散度的广义Wasserstein梯度流，可视为具有更广泛正则化器类的函数梯度方法，展示了GWG具有强大的收敛性保证，通过实验证明了该框架在模拟和真实数据问题上的有效性和高效性。
Oct, 2023
本研究提出了一种层级半隐式变分推断方法（HSIVI），通过引入辅助分布，允许更具表达力的多层半隐式分布构建，大大提升了对复杂目标分布的建模能力，同时可用于加速扩散模型的采样过程。
粒子变分推理方法（ParVI）结合了加速位置更新和动态权重调整，并在信息-费舍尔-饶度空间上模拟半哈密尔顿梯度流，以降低局部功能耗散，实验证明GAD-PVI方法具有更快的收敛速度和更小的逼近误差。
Dec, 2023
核SIVI（KSIVI）是SIVI-SM的变体，通过核技巧消除了对底层优化的需求，其上层目标是可计算的核Stein距离（KSD），从而实现了KSIVI的新收敛保证。我们在合成分布和各种真实数据贝叶斯推断任务中展示了KSIVI的有效性和效率。
May, 2024
本研究解决了在约束域中进行采样的难题，提出了一种新的功能梯度变分推断方法，称为约束功能梯度流（CFG），并为其引入了梯度流的边界条件。通过理论分析和实验验证，展示了该方法在总变差下具有可证明的连续时间收敛性，提供了一种有效的处理约束域采样的框架。
Oct, 2024