变分贝叶斯方法的频率派一致性

May, 2017

Frequentist Consistency of Variational Bayes

Yixin Wang, David M. Blei

TL;DR本文证明了变分贝叶斯法在频率学意义下是稳健的，它可以通过极小化KL散度来估计后验分布，并且其对应的参数的变分期望是一致的和渐近正态的。此理论应用于贝叶斯混合模型、Bayesian广义线性混合模型和贝叶斯随机块模型，并通过模拟研究进行了验证。

Abstract

A key challenge for modern Bayesian statistics is how to perform scalable inference of posterior distributions. To address this challenge, VB methods have emerged as a popular alternative to the classical MCMC methods. VB methods tend to be faster while achieving comparable predictive performance. However, there are few theoretical results around VB. In this

发现论文，激发创造

变分贝叶斯推断潜变量模型的参数和结构

本文提出了变分贝叶斯(Variational Bayes)框架, 通过解决概率图模型中潜在变量及其结构计算的问题，避免了因参数而导致过拟合和子最优泛化表现的通常方法，同时证明了该算法能成功应用于无监督聚类、盲源分离等模型。

Jan, 2013

变分推断：统计学家综述

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

Jan, 2016

温和后验分布及其变分逼近的集中性

本文提出了一种通用方法来证明分数后验变分近似的集中性，应用于矩阵补全和高斯VB两个例子，弥补了变分贝叶斯方法在理论方面的不足。

Jun, 2017

变分贝叶斯蒙特卡罗

本文介绍了一种新型的高效样本推断框架，变分贝叶斯蒙特卡罗（VBMC），可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分，并在合成和实际数据的测试中表现出很好的性能。

Oct, 2018

流形上的变分贝叶斯

本文将VB方法的范围扩展到Riemann流形的情况，开发了一种基于流形的VB算法，对概率分布进行逼近。所提出的算法在数值实验中表现稳定，较现有VB方法更具优势。

Aug, 2019

高维 logistic 回归的钉板变分贝叶斯

研究变分贝叶斯对于稀疏高维逻辑回归中广泛使用的贝叶斯模型选择先验的均场尖峰和板VB近似，该方法可以在L2和预测损失方面为稀疏的实际结果提供最佳收敛速率，并给出了有效的先验选择方法。

Oct, 2020

坐标上升变分推断的收敛性

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

高斯分数匹配伴随变分推理

本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比BBVI更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

Jul, 2023

通过熵正则化扩展均场变分推断的理论与计算

我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。

Apr, 2024

ELBOing Stein：基于Stein混合推断的变分贝叶斯方法

本文解决了Stein变分梯度下降(SVGD)中存在的方差崩溃问题，这一问题导致在小型贝叶斯神经网络(BNNs)中预测不佳。我们提出了一种新的方法Stein混合推断(SMI)，通过让每个粒子参数化混合模型中的组件分布，并优化证据的下界(ELBO)，显著提高了不确定性估计的准确性，尤其是在数据维度高且稀疏的情况下。

Oct, 2024