本文通过机器学习中的变分推断方法近似计算难以计算的概率密度,特别地,本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。
Jan, 2016
本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
通过优化固定协方差和常值权重的高斯混合模型,将变分推断(Variational Inference)视为最小化平滑相对熵,研究其在非高斯情况下的理论性质,包括梯度下降和粒子系统优化。
Jun, 2024
本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系,提出了收敛的充分条件,明确了算法的收敛速率和简化方法,并在概率模型和理论特性之间架起了桥梁。
Aug, 2017
提出了一种新的算法 Boosting Variational Inference(BVI),它基于渐进的计算,能够捕捉多模态、一般后验协方差和非标准后面形状,并且使用一个更灵活的逼近族,包括所有可能的有限混合一个参数基础分布(例如高斯)。
Nov, 2016
本文介绍了一种基于蒙特卡洛采样的随机优化算法,可用于快速逼近复杂潜在变量模型的后验概率分布,避免了繁琐的模型推导过程,同时探索了多种长期医疗数据模型。
Dec, 2013
本文提出了一种改进算法,基于强化版 Variational Inference 方法,用于更有效地近似概率密度,以此实现贝叶斯统计中重要的求解任务,提出的改进方法叫做 Boosting VI。通过对算法的理论分析,证明了算法的收敛性和可行性,并且经过实验验证,该算法在实际应用中能够取得不错的效果。
Jun, 2018
本文基于函数分析和优化工具,对变分推断 (VI) 方法中的坐标上升变分推断 (CAVI) 算法进行收敛性分析,提出基于广义相关性的算法收缩速率测度,并在多个实例中应用了该理论,得出了算法收缩速率的明确上界。
Jun, 2023
提出了一种基于优化的贝叶斯推论的新颖泛化方法,称为三原则规则,并通过 GVI(广义变分推论)的探索得出应用,包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。
Apr, 2019
深度学习和贝叶斯深度学习使用变分推断和边缘似然来进行后验推理和模型选择。
Jan, 2024