May, 2018

可变推断中的Alpha-Beta散度

HTML
PDF
TL;DR本文介绍了一种使用直接优化“尺度不变的Alpha-Beta离散度”（sAB离散度）的变分逼近框架，该新目标包含了大多数使用Kullback-Leibler、Rényi或gamma离散度的变分目标，还提供了以前在变分推理环境中从未利用过的目标函数。这通过两个易于解释的控制参数实现，可以在离散度空间上平滑地插值，同时交换目标分布的质量覆盖和数据异常值鲁棒性等属性。此外，通过重新定位用于复杂变分目标的蒙特卡罗计算现有方法，可以直接优化sAB变分目标，导致离散度的估计值而不是变分下限。我们展示了这个目标在回归问题的贝叶斯模型上的优势。
发现论文，激发创造
  • Rényi分歧变分推断

    本文介绍了变分Renyi界限(VR)，它将传统的变分推理扩展到了Renyi的Alpha-散度。这种新型的变分方法统一了许多现有方法，并且通过参数化散度的Alpha值，实现了从证据下限到对数（边际）似然的平滑插值。采用重参数化技巧、蒙特卡罗近似和随机优化方法，获得了一个可行和统一的优化框架。我们进一步考虑了负Alpha值，并在所提出的框架的一个新的特殊情况下提出了一种新的变分推理方法。在贝叶斯神经网络和变分自编码器上的实验证明了VR界限的广泛适用性。

    Feb, 2016

  • 斯坦变分梯度下降：一种通用贝叶斯推断算法

    本文提出了用于优化的通用变分推理算法，它是梯度下降法的一种自然补充，可以通过一种函数梯度下降来最小化KL距离，从而迭代地传输一组粒子以匹配目标分布。经过在各种真实世界模型和数据集上的实证研究，我们的方法与现有的最先进的方法相竞争。我们方法的推导基于一个新的理论结果，它连接了平滑转换下KL距离的导数与Stein's恒等式以及最近提出的核化的Stein距离，这也具有独立的兴趣。

    Aug, 2016

  • 操作符变分推理

    本文介绍以变分推断为基础的优化算法，并使用函数方法设计变分目标，包括Langevin-Stein算子变分目标。该算法不仅能够处理大数据问题还可以快速逼近后验分布。

    Oct, 2016

  • 使用大量控制变量的集成进行变分推断

    本文介绍了使用控制变量的方法来减少渐变方差的影响，提出了一种贝叶斯风险最小化框架来定量评估这一方法的效果，并表明使用大量控制变量结合的方法显著提高了推理的收敛性。

    Oct, 2018

  • 结合变分推断和马尔科夫链蒙特卡洛法的对比散度

    通过Markov chain Monte Carlo（MCMC）与varational inference（VI）相结合，并引入variational contrastive divergence（VCD）作为新的divergence，可以更好的预测潜在变量模型。

    May, 2019

  • 关于无偏Alpha散度最小化的困难

    本文探讨信号噪声比的方法用于最小化近似分布和目标分布之间的alpha-divergence，结果发现在高维的情况下，实现这种方法的可行性存在质疑。

    Oct, 2020

  • VarGrad: 变分推断的低方差梯度估计器

    本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

    Oct, 2020

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 具有分解高斯近似的变分推断的差异排序

    用变分推断方法（VI）在高斯分布的近似中分析不同的散度选择如何影响估计不确定性的测量时，发现了它们的排序方式，并得出了不同散度会导致正确估计哪种测量的结论。

    Mar, 2024

  • 一种基于变分贝叶斯方法的高维线性回归中低维参数去偏推断

    研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。

    Jun, 2024