EigenVI：基于特征值的变分推断与正交函数展开

Oct, 2024

EigenVI：基于特征值的变分推断与正交函数展开

EigenVI: score-based variational inference with orthogonal function expansions

Diana Cai, Chirag Modi, Charles C. Margossian, Robert M. Gower, David M. Blei...

TL;DR本研究针对黑箱变分推断（BBVI）中的问题，提出了EigenVI，一种基于特征值的变分推断方法。EigenVI通过正交函数展开构建变分近似，能够灵活建模复杂分布并通过最小化Fisher散度的随机估计优化变分近似，从而相比于现有方法提供了更高的准确性，特别是在处理高斯BBVI的情况下。

Abstract

We develop EigenVI, an eigenvalue-based approach for black-box Variational Inference (BBVI). EigenVI constructs its variational approximations from orthogonal function expansions. For distributions over $\mathbb{R}^D$, the lowest order term in these expansions provides a Gaussian varia

发现论文，激发创造

提升变分推断

提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

摄动黑盒变分推理

本文针对黑盒变分推断方法提出了基于广义差异度量的偏置重要性采样方法，并通过变分扰动理论构建了一族新的变分上界，对多个模型进行实验得出新的变分上界在数据拟合上更优

Sep, 2017

半隐式变分推断

使用半隐式变分推断方法(SIVI)扩展了通常使用的解析变分分布族, 可以将变分参数与灵活的分布混合. 这种混合分布可以采用任何密度函数来生成独立的随机样本, 并且在推理贝叶斯模型的后验概率方面与MCMC方法的精度相当.

May, 2018

确定性目标的黑盒变分推断：更快、更准确，更加黑箱

本研究介绍了一种称为“确定性ADVI”的方法来解决MFVB的问题，并使用蒙特卡罗近似方法去优化其目标，相较于标准的MFVB，确定性ADVI能更准确地预测后验线性响应协方差，并在现实问题中表现更加可靠并具有更快的速度和更高的准确性。

Apr, 2023

黑盒变分推断收敛

本文提供了第一篇关于全黑箱变分推断的收敛性保证，特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析，证明了使用鲁棒的变分族文件和负责的算法设计，特别是使用近端随机梯度下降，可以实现最强的已知收敛速率保证。

May, 2023

坐标上升变分推断的收敛性

本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

高斯分数匹配伴随变分推理

本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比BBVI更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

Jul, 2023

基于分数匹配的半隐式变分推断

SIVI-SM是基于分数匹配的新的SIVI方法，通过利用半隐变分族的分层结构，允许使用少噪声分数匹配处理难以处理的变分密度，SIVI-SM在各种贝叶斯推理任务中准确性与MCMC相当，并且优于基于ELBO的SIVI方法。

Aug, 2023

批量与匹配：基于评分的黑盒变分推断

基于分数的采样方法与最大似然法相结合，可以有效优化高方差问题，并证明当目标分布为高斯分布时，收敛迅速且性能优于传统基于ELBO最大化的黑盒变分推断方法。

Feb, 2024

批处理、匹配和修补：基于分数的变分推理的低秩近似

本文解决了黑箱变分推理在高维问题中使用完全协方差矩阵时的扩展性不足的问题。研究提出了将批处理与匹配框架（BaM）结合的新方法，通过引入低秩矩阵的高效参数化，提高了算法的效率和表现。实验证明，该方法在多个合成目标分布和高维推断的真实问题中均取得了显著成效。

Oct, 2024