利用James-Stein估计器控制黑盒变分推断的方差

May, 2024

利用James-Stein估计器控制黑盒变分推断的方差

Variance Control for Black Box Variational Inference Using The James-Stein Estimator

Dominic B. Dayta

TL;DR黑盒变分推断是在使变分推断更“黑盒”的最近努力中的一个有前途的框架，但在基本版本中，它要么由于不稳定性而无法收敛，要么在执行前需要调整更新步骤，这使得它不完全通用。我们提出了一种通过将随机梯度上升重新定位为多元估计问题来规范其参数更新的方法。所提出的方法在方差减小方面相对较弱，但提供了更简单的代替和不需要分析师进行微调的权衡。基准数据集上的性能还表明，在模型拟合和收敛时间方面，与Rao-Blackwell化方法相比具有一致的表现或更好。

Abstract

black box variational inference is a promising framework in a succession of recent efforts to make Variational Inference more ``black box". However, in basic version it either fails to converge due to instability or requires some fine-tuning of the update steps prior to execution that

发现论文，激发创造

黑匣子变分推断

本文介绍了一种基于蒙特卡洛采样的随机优化算法，可用于快速逼近复杂潜在变量模型的后验概率分布，避免了繁琐的模型推导过程，同时探索了多种长期医疗数据模型。

Dec, 2013

随机变分推断的平滑梯度

本文介绍了一种改进的随机变分推断方法，其中使用移动平均方法构建代替自然梯度的向量，得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。

Jun, 2014

降落完毕：变分推断中的简单、低差异度梯度估计器

我们提出了一种简单且通用的标准重参数化梯度估计变体，以用于变分证据下限。通过删除与评估参数有关的分数函数的导数，我们将产生一个无偏梯度估计器，其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为，并将其推广到更复杂的变分分布中，例如混合分布和重要性加权后验。

Mar, 2017

摄动黑盒变分推理

本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

Sep, 2017

使用大量控制变量的集成进行变分推断

本文介绍了使用控制变量的方法来减少渐变方差的影响，提出了一种贝叶斯风险最小化框架来定量评估这一方法的效果，并表明使用大量控制变量结合的方法显著提高了推理的收敛性。

Oct, 2018

黑盒变分推断的可证明梯度方差保证

本文通过研究在目标平滑、变分族为位置-尺度分布情况下的重参数估计器，为基于随机梯度估计器的最新变分推断方法提供了不可改善的界限。

Jun, 2019

VarGrad: 变分推断的低方差梯度估计器

本文提出了一种基于 VarGrad 的无偏梯度估计方法，在概率变分推断中应用较广，并证明其比分数函数方法具有更低的方差和更优秀的计算性能。

Oct, 2020

黑盒变分推断收敛

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

黑盒变分推断的可证收敛性保证

针对黑盒变分推理的随机优化的挑战，该论文提出了一种基于重参数化的梯度估计方法来保证其收敛性，并给出了针对密集高斯变分族收敛的新的收敛保证和独特噪声边界.

Jun, 2023

黑盒变分推断的线性收敛性：我们应该坚持完成吗？

在完美变分族规范下，证明了带有控制变量的黑盒变分推断（BBVI），特别是附着着陆（STL）估计器，在几何（传统称为“线性”）速率下收敛。我们证明了STL估计器的梯度方差的二次界限，由此可以直接推出使用投影随机梯度下降的BBVI的收敛性。我们还改进了现有的关于常规闭式熵梯度估计器的分析，从而使其可以与STL估计器进行比较，并为两者提供明确的非渐近复杂性保证。

Jul, 2023