本文介绍了变分 Renyi 界限 (VR)，它将传统的变分推理扩展到了 Renyi 的 Alpha - 散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的 Alpha 值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负 Alpha 值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了 VR 界限的广泛适用性。

Feb, 2016

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

Oct, 2017

用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。

Mar, 2024

本文介绍了一种使用直接优化 “尺度不变的 Alpha-Beta 离散度”（sAB 离散度）的变分逼近框架，该新目标包含了大多数使用 Kullback-Leibler、Rényi 或 gamma 离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化 sAB 变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

May, 2018

本文提出了一类新的尾部自适应的 f 散度，可以用于变分推断中的 α 分布，且在有限矩状况下同时实现大量覆盖性，用于改进 SAC 算法等深度强化学习任务时相较于基于 KL 散度和 α 散度的现有方法表现更好。

Oct, 2018

该研究提出了 alpha-divergence 的一种新颖措施，与 dropout 结合使用，能够较准确地估计深度学习模型的不确定性。

Mar, 2017

通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Jun, 2024

BB-alpha 是一种用于大数据的近似推理方法，基于最小化 alpha-divergences，可应用于复杂概率模型，采用自动微分获得梯度，并通过调整 divergence 参数 alpha，能够在 VB 和 EP 之间进行插值处理，并在 probit 回归和神经网络回归分类问题上展现比 VB 和 EP 更好的预测效果，如采用非标准的 alpha 值 0.5。

Nov, 2015

基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。

Feb, 2024