本文通过机器学习中的变分推断方法近似计算难以计算的概率密度,特别地,本文对变分推断的思想和现代 VI 研究中的重要问题进行了全面的讨论。
Jan, 2016
本文介绍一种名为核式隐式变分推断的新方法,可以成功地将隐式变分推断应用于贝叶斯神经网络,并在回归和分类任务上展现了有前途的结果。
May, 2017
通过对高斯均值场变分推理方法训练的深层贝叶斯神经网络的后验标准差进行矩阵低秩分解,我们可以将变分推理方法更紧凑地参数化,并提高其信噪比,从而加速其收敛速度。
Feb, 2020
本文综述了变分推断中的最新趋势,介绍了标准的均值场变分推断,然后回顾了最近的进展,包括可扩展的 VI,通用的 VI,准确的 VI 以及摊余的 VI,并提供有关未来研究方向的总结。
Nov, 2017
通过优化固定协方差和常值权重的高斯混合模型,将变分推断(Variational Inference)视为最小化平滑相对熵,研究其在非高斯情况下的理论性质,包括梯度下降和粒子系统优化。
Jun, 2024
本文提出了一种变分高斯过程 (VGP) 方法,该方法是一种贝叶斯非参数变分方法,利用随机非线性映射生成近似后验样本,适应于复杂的后验分布,且通过学习随机映射的分布来使之适应于不同的复杂度,该方法在无监督学习中实现了最新的最佳结果。
Nov, 2015
本文提出了两种通用的方法 ——Laplace 变分推断和 delta 算法变分推断 —— 用于解决非共轭模型下的均值场变分方法不能直接应用的问题。这些方法不仅适用于广泛的非共轭模型,并扩展并统一了一些已存在的基于特定模型的变分方法,并且也表现出良好的在实际数据集上的性能。
Sep, 2012
本研究开发了基于随机变分推断的可伸缩算法,用于逼近后验概率分布,并且针对一类大规模的概率模型进行了技术开发;对两个概率主题模型进行了演示并应用于大量文献数据的分析,其中包括自然杂志、《纽约时报》和维基百科,结果表明随机变分推断可轻松处理大型数据集并优于传统变分推断,并且表明贝叶斯非参数主题模型优于参数主题模型;因此基于随机变分推断的算法可以将复杂的贝叶斯模型应用于大规模的数据集。
Jun, 2012
通过引入一种新的变分上界家族,我们提出了一种用于层次模型的变分下界族,使得我们可以使用更具表现力的近似后验概率,并在一系列实验中证明了所提出的方法的卓越性能。
May, 2019
本研究提出一种新的深度内核学习方法和随机变分推断程序,利用加性基础内核方法将子集的输出特征整合入深度神经网络以提高分类性能,并比较了该方法与深度神经网络、SVM 和基于高斯过程的方法在多个分类基准测试中的性能。
Nov, 2016