Apr, 2024

通过熵正则化扩展均场变分推断的理论与计算

HTML
PDF
TL;DR我们提出了一种新的变分推断方法 $\Xi$-变分推断 ($\Xi$-VI)，通过熵正则化扩展了朴素均值场。$\Xi$-VI与熵最优输运问题密切相关，并从计算高效的Sinkhorn算法中受益。我们展示了$\Xi$-变分后验能够有效恢复真实的后验依赖关系，其中依赖关系由正则化参数进行加权。我们分析了参数空间维度对 $\Xi$-变分近似精度的影响以及它对计算的影响，从而粗略刻画了$\Xi$-VI中的统计计算权衡。我们还研究了$\Xi$-VI的经验性质，并建立了关于一致性、渐近正态性、高维渐近性和算法稳定性的结果。我们提供了使用该方法实现多项式时间近似推断的充分条件。最后，我们在模拟和真实数据上展示了 $\Xi$-VI 相对于均值场变分推断的实际优势。
发现论文，激发创造
  • 结构化随机变分推断

    文章展示了如何通过松弛均场独立近似来减少对局部最优解和超参数的敏感性，使得全局参数和局部隐藏变量之间的任意依赖关系得以被考虑，从而提高参数估计的精度。

    Apr, 2014

  • 具有归一化流的变分推断

    本论文提出了一种新的变分推断方法，通过应用一系列可逆转变，构造了一种更为复杂的、灵活的、可拓展的近似后验分布，与简单的后验分布相比，提升了推断性能和适用性。

    May, 2015

  • 变分推断：统计学家综述

    本文通过机器学习中的变分推断方法近似计算难以计算的概率密度，特别地，本文对变分推断的思想和现代VI研究中的重要问题进行了全面的讨论。

    Jan, 2016

  • 变分推断的进展

    本文综述了变分推断中的最新趋势，介绍了标准的均值场变分推断，然后回顾了最近的进展，包括可扩展的 VI，通用的 VI，准确的 VI 以及摊余的 VI，并提供有关未来研究方向的总结。

    Nov, 2017

  • Wasserstein变分推断

    本文介绍了基于Wasserstein变分推断的一种新的近似贝叶斯推断方法，该方法使用了包括f-分布和Wasserstein距离在内的一种新的差异度量方式，通过Sinkhorn迭代，该技术可以获得非常稳定的无似然训练方法，并且可以用于隐式分布和概率编程，同时应用于多种自编码器实验中，对其鲁棒性和性能进行了测试。

    May, 2018

  • 广义变分推断：推导新后验分布的三个参数

    提出了一种基于优化的贝叶斯推论的新颖泛化方法，称为三原则规则，并通过GVI（广义变分推论）的探索得出应用，包括提高了贝叶斯神经网络和深高斯过程的预测性能和适当的边际。

    Apr, 2019

  • 关于均值场变分推断的表现

    本论文提出了一种基于Wasserstein空间梯度流、Fokker-Planck方程和扩散过程的分析mean field variational inference (MFVI)算法的框架，旨在解决MFVI算法中的收敛问题。研究表明，此框架可以保证多种解决变分推断问题的算法的收敛性。

    Oct, 2022

  • 坐标上升变分推断的收敛性

    本文基于函数分析和优化工具，对变分推断(VI)方法中的坐标上升变分推断(CAVI)算法进行收敛性分析，提出基于广义相关性的算法收缩速率测度，并在多个实例中应用了该理论，得出了算法收缩速率的明确上界。

    Jun, 2023

  • 使用TAP自由能的平均场变分推断：线性模型中的几何和统计性质

    在高维度的贝叶斯线性模型中，通过最小化TAP自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过Approximate Message Passing (AMP)算法找到，从而在局部邻域内线性收敛到最小值。

    Nov, 2023

  • 一种基于变分贝叶斯方法的高维线性回归中低维参数去偏推断

    研究中提出了一种可扩展的变分贝叶斯方法，用于对稀疏线性回归中高维参数的一个单一或低维子集进行统计推断，通过对干扰坐标进行均场近似和谨慎地对目标的条件分布建模，只需要预处理步骤，保留了均场变分贝叶斯的计算优势，同时确保了对目标参数以及不确定性量化的准确可靠推断，该算法在数值性能方面与现有方法相媲美，并且在估计和不确定性量化方面建立了伯恩斯坦-冯·米塞斯定理的相关理论保证。

    Jun, 2024