本文提出了一种基于非参数核密度估计的变分逼近方法,通过优化内核位置和带宽参数最大化数据边际似然下限,不同于其他变分逼近方法,本方法能够捕捉后验分布的多个模式,并成功应用于各种图模型和非线性矩阵分解模型中,预测性能优于更专业化的变分方法和基于样本的逼近方法。
Jun, 2012
提出了一种用于概率模型的折叠变分推断算法的通用方法,该方法整合了许多现有的折叠变分推断方法,并基于较快的共轭梯度优化方法导出新的较低边际似然性的下界。
在这篇论文中,我们讨论了一种广义均场理论,它使用可追踪分布的丰富集合来近似表示一类难以处理的分布,并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法,用于复杂的指数族模型的近似推断,它将复杂模型分解成一组不相交变量簇,并使用一组规范的定点方程来迭代地更新参数,找到保留每个簇内原始依赖结构的局部最优参数,因此完全分解了整体推断问题。通过实验证明,我们比较了不同可追踪族群(不同粒度的簇)对推理质量的影响,并将其与BP算法在几个标准模型上进行了比较。还讨论了高阶MF逼近的可能扩展。
Oct, 2012
本文介绍了一种改进的随机变分推断方法,其中使用移动平均方法构建代替自然梯度的向量,得到了更高的计算计算效率和更小的误差。测试表明该方法在大规模数据上表现良好。
Jun, 2014
提出了一种基于随机梯度方法的变分推断新方法,不仅利用变分参数空间的几何性质,而且即使对于非共轭模型也可以产生简单的闭合式更新,该方法也具有收敛速率分析,即使用于非凸目标的随机镜像下降。在多种问题上,实验证明新算法在该框架中导出可以导致最先进的结果。
Oct, 2015
本文通过机器学习中的变分推断方法近似计算难以计算的概率密度,特别地,本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。
Jan, 2016
提出了一种新的算法Boosting Variational Inference(BVI),它基于渐进的计算,能够捕捉多模态、一般后验协方差和非标准后面形状,并且使用一个更灵活的逼近族,包括所有可能的有限混合一个参数基础分布(例如高斯)。
Nov, 2016
本文提出了一种黑盒变分推理方法——变分 boosting,通过迭代优化来逼近一个越来越丰富的逼近类,从而扩展其变分逼近类,应用于合成和真实的统计模型,表明通过比较精确和有效地后验推理,其结果优于现有的后验逼近算法。
我们提出了一种简单且通用的标准重参数化梯度估计变体,以用于变分证据下限。通过删除与评估参数有关的分数函数的导数,我们将产生一个无偏梯度估计器,其方差随着近似后验接近精确后验逐渐逼近零。我们从理论和实证方面分析了这种梯度估计器的行为,并将其推广到更复杂的变分分布中,例如混合分布和重要性加权后验。
Mar, 2017
本文研究使用自然梯度方法解决贝叶斯深度学习中的复杂模型的计算挑战,并表明这种方法在提高收敛性方面有优势。
Jul, 2018