本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

Sep, 2017

我们提出了 Wasserstein proximals of $\alpha$-divergences 作为学习重尾分布的合适目标函数，首先给出了数据维度、$\alpha$ 和数据分布衰减率之间的足够关系以及某些情况下的必要关系，使得 Wasserstein- proximal-regularized divergence 是有限的，并且在某些尾部条件下提供了 Wasserstein-1 proximal divergences 的有限样本收敛速度，数值实验表明了学习重尾分布的稳定性，即使是没有第一或第二时刻的分布，也可以使用适当的生成模型（如 GANs 和与我们提出的 Wasserstein proximal-regularized $\alpha$-divergences 相关的基于流的模型）来学习目标分布，启发式地，$\alpha$-divergences 处理重尾，Wasserstein proximals 在分布之间提供非绝对连续性，并在深入尾部学习目标分布时控制流算法的速度。

May, 2024

本文提出了一种鲁棒性强的伪贝叶斯变分方法，它通过将适用于数据拟合的 Kullback-Leibler 距离替换为 beta - 和 gamma - 距离，从而实现对深度网络等复杂模型的处理，并在实验中表现出比普通变分推断更好的鲁棒性。

Oct, 2017

该研究提出了 alpha-divergence 的一种新颖措施，与 dropout 结合使用，能够较准确地估计深度学习模型的不确定性。

Mar, 2017

本文介绍了一种使用直接优化 “尺度不变的 Alpha-Beta 离散度”（sAB 离散度）的变分逼近框架，该新目标包含了大多数使用 Kullback-Leibler、Rényi 或 gamma 离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化 sAB 变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。

May, 2018

本文介绍了变分 Renyi 界限 (VR)，它将传统的变分推理扩展到了 Renyi 的 Alpha - 散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的 Alpha 值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负 Alpha 值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了 VR 界限的广泛适用性。

Feb, 2016

本文研究了在结构假设条件下用样本估算概率分布之间 f-divergence 的问题，提出了一种易于实现、适用于高维数据且收敛速度更快的估算器，并在合成和真实数据实验中验证了其行为。

May, 2019

用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。

Mar, 2024

提出了一种结合优化和抽样技巧的近似贝叶斯推断方法，通过最小化前向 KL 散度构建了一种 IS 建议分布，实验证明该方法在现实数据上与变分提升和 MCMC 相竞争。

Jun, 2021

本文探讨信号噪声比的方法用于最小化近似分布和目标分布之间的 alpha-divergence，结果发现在高维的情况下，实现这种方法的可行性存在质疑。

Oct, 2020