通过应用随机变分推断方法,提出一种结构化高斯近似后验,用于近似后验更普遍、非线性的潜变量生成模型,且相较于特定非共轭模型的定制化变分方法具有更好的表现;该方法旨在用于潜在动态结构模型的黑盒近似推断。
Nov, 2015
本文介绍了一种基于蒙特卡洛采样的随机优化算法,可用于快速逼近复杂潜在变量模型的后验概率分布,避免了繁琐的模型推导过程,同时探索了多种长期医疗数据模型。
Dec, 2013
本文提供了第一篇关于全黑箱变分推断的收敛性保证,特别是蒙特卡罗变分推断。作者通过与传统算法相比的分析,证明了使用鲁棒的变分族文件和负责的算法设计,特别是使用近端随机梯度下降,可以实现最强的已知收敛速率保证。
May, 2023
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
通过引入分层变分模型来规范表达力强的变分分布,以提高黑盒变分推断的计算效率和可扩展性,并通过在深度定性潜变量模型中进行了研究来实现更高的后验品质。
本文介绍了一种使用欧拉 - 马鲁雅马方法对扩散过程离散化,并应用变分推断方法共同学习参数和扩散路径的方法。这种方法使用平均场变分近似参数后验分布,并引入递归神经网络来近似参数条件下扩散路径的后验分布,所得结果可用于具有轻微调整需求的任何 SDE 系统,并在短短几个小时内产生准确的参数估计。
Feb, 2018
本文提出了一种改进算法,基于强化版 Variational Inference 方法,用于更有效地近似概率密度,以此实现贝叶斯统计中重要的求解任务,提出的改进方法叫做 Boosting VI。通过对算法的理论分析,证明了算法的收敛性和可行性,并且经过实验验证,该算法在实际应用中能够取得不错的效果。
Jun, 2018
给定的研究论文提出了一个介于均场变分族和完全秩变分族之间的结构变分族,通过理论证明某些规模矩阵结构可以获得更好的迭代复杂度,并在大规模分层模型上进行实证验证。
Jan, 2024
本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
基于分数的采样方法与最大似然法相结合,可以有效优化高方差问题,并证明当目标分布为高斯分布时,收敛迅速且性能优于传统基于 ELBO 最大化的黑盒变分推断方法。
Feb, 2024