Nov, 2016

提升变分推断

HTML
PDF
TL;DR提出了一种新的算法Boosting Variational Inference（BVI），它基于渐进的计算，能够捕捉多模态、一般后验协方差和非标准后面形状，并且使用一个更灵活的逼近族，包括所有可能的有限混合一个参数基础分布（例如高斯）。
发现论文，激发创造
  • 结构化随机变分推断

    文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

    Apr, 2014

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分提升：迭代优化后验近似

    本文提出了一种黑盒变分推理方法——变分 boosting,通过迭代优化来逼近一个越来越丰富的逼近类，从而扩展其变分逼近类，应用于合成和真实的统计模型，表明通过比较精确和有效地后验推理，其结果优于现有的后验逼近算法。

    Nov, 2016

  • 提升变分推断：优化视角

    本文研究了基于 boosting 的变分推断算法在优化视角下的收敛性质及其与经典 Frank-Wolfe 算法之间的联系，提出了收敛的充分条件，明确了算法的收敛速率和简化方法，并在概率模型和理论特性之间架起了桥梁。

    Aug, 2017

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • 提升黑盒变分推断

    本文提出了一种改进算法，基于强化版Variational Inference方法，用于更有效地近似概率密度，以此实现贝叶斯统计中重要的求解任务，提出的改进方法叫做Boosting VI。通过对算法的理论分析，证明了算法的收敛性和可行性，并且经过实验验证，该算法在实际应用中能够取得不错的效果。

    Jun, 2018

  • 广义变分推断：推导新后验分布的三个参数

    提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

    Apr, 2019

  • 混合指数族近似下的快速简单的自然梯度变分推断

    本论文使用自然梯度方法扩展到结构化逼近，并得到了简单的方程。与黑箱渐变方法相比，实验结果表明我们的自然渐变方法收敛更快，从而扩展了贝叶斯推断的应用范围。

    Jun, 2019

  • 关于均值场变分推断的表现

    本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架，旨在解决MFVI算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

    Oct, 2022

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023