变分推理，高斯混合模型，贝叶斯机器学习

Jun, 2024

变分推理，高斯混合模型，贝叶斯机器学习

Variational inference, Mixture of Gaussians, Bayesian Machine Learning

Tom Huix, Anna Korba, Alain Durmus, Eric Moulines

TL;DR通过优化固定协方差和常值权重的高斯混合模型，将变分推断（Variational Inference）视为最小化平滑相对熵，研究其在非高斯情况下的理论性质，包括梯度下降和粒子系统优化。

Abstract

variational inference (VI) is a popular approach in Bayesian inference, that looks for the best approximation of the posterior distribution within a parametric family, minimizing a loss that is typically the (reverse) Kullback-Leibler (KL) divergence. Despite its empirical success, the

variational inference non-gaussian case mixture of gaussians minimization optimization

发现论文，激发创造

变分推断：统计学家综述

本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。

Jan, 2016

提升变分推断

提出了一种新的算法 Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。

Nov, 2016

变分推断的进展

本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

Nov, 2017

高斯分数匹配伴随变分推理

本文提出了一种新的基于评分匹配原则的变分推断方法及其迭代算法，即 score matching VI，并给出了高斯变分情况下的具体解法，GSM-VI，该算法比 BBVI 更快且更准确，适用于广泛的模型和数据，并在实际贝叶斯推断问题中得到广泛应用。

Jul, 2023

提升黑盒变分推断

本文提出了一种改进算法，基于强化版 Variational Inference 方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做 Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

Jun, 2018

粒子半隐式变分推断

该研究提出了一种名为粒子变分推理（PVI）的新方法，通过粒子近似欧氏 - 瓦塞尔斯坦梯度流，利用经验度量来近似描述最优混合分布，并直接优化证据下界（ELBO），无需对混合分布做参数化假设。实证结果表明，PVI 在各种任务中表现出色，并对相关的自由能函数的梯度流行为进行了理论分析，证明了解的存在性和唯一性以及混乱传播结果。

Jun, 2024

在 Bures-Wasserstein 空间中通过 JKO 实现前向后向的高斯变分推断

本文提出了正向反向高斯变分推断算法，利用 KL 散度的结构，能够有效逼近高斯目标分布，得到了最新颖的收敛保证。

Apr, 2023

混合模型中基于变分贝叶斯推断的参数估计和模型选择的一致性

本篇论文研究、应用和优化混合模型和变化推理等技术对贝叶斯统计学、计算生物学和自然语言处理等多个领域的贡献，并研究证明了可变组成元素数量的情况下，情形近似的集中性，以及证明了这种多次证明技术确实是有效的。

May, 2018

坐标上升变分推断的收敛性

本文基于函数分析和优化工具，对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

Jun, 2023

操作符变分推理

本文介绍以变分推断为基础的优化算法，并使用函数方法设计变分目标，包括 Langevin-Stein 算子变分目标。该算法不仅能够处理大数据问题还可以快速逼近后验分布。

Oct, 2016