Nov, 2023

使用 TAP 自由能的平均场变分推断：线性模型中的几何和统计性质

PDF
TL;DR在高维度的贝叶斯线性模型中，通过最小化 TAP 自由能量，我们展示了一种局部最小化算法，提供了与后验边际一致的估计，并可用于正确校准的后验推断。在一定的一般条件下，这种局部最小值可以通过 Approximate Message Passing (AMP) 算法找到，从而在局部邻域内线性收敛到最小值。
mean-field variational inferencebayesian linear modeltap free energyposterior inferenceapproximate message passing (amp) algorithm
发现论文，激发创造
  • 概率模型的可行逼近：自适应 TAP 平均场方法

    基于失序物理的 TAP 方法，发展了一种高级平均场方法，用于近似概率数据模型中的平均值，该方法适应具体的耦合，并通过仿真和计算证明了其有效性。

    Feb, 2001

  • 解决具有一般不变随机矩阵的 Ising 模型 TAP 方程的理论

    该论文通过对 TAP 均场方程进行迭代求解，研究了具有随机耦合矩阵的 Ising 模型。作者使用动态函数方法分析了迭代算法，并提出了关于通用不变集合的隐式记忆项的表达式。通过去除它们，迭代只依赖于高斯分布的场。作者还表明，如果符合一个稳定性准则，则 TAP 磁化是稳定的固定点。作者在本文中明确探讨了从随机正交集合中获得的耦合矩阵的情况。

    Sep, 2015

  • 具有正交相互作用矩阵的自旋模型的平均场方程

    研究了具有正交相互作用矩阵的 Ising 自旋模型中的亚稳态，特别关注随机模型和两种非随机模型。通过整合高温膨胀计算 Gibbs 自由能得到平均场方程。对于某些特殊的非随机情况，我们可以找到自由能的绝对最小值。最后，我们提出了一个明显不相关的复制计算，可以复制得到所有 tap 解决方案的分析表达式。

    Mar, 1995

  • 神经网络的平均场 Langevin 动力学和能量景观

    研究使用梯度算法时非凸问题的抽象理论，利用无穷维度状态空间和概率密度函数最小化能量函数，并研究该梯度流的收敛性。

    May, 2019

  • 大规模贝叶斯压缩感知中的高效变分推断

    本研究使用贝叶斯压缩感知框架从概率学的角度研究了重尾先验下的线性模型，并借助基于随机场的 Perturb-and-MAP 算法提出了一种高效的方法近似估计高斯方差，实现对完整后验分布的捕捉及模型参数的学习并通过实验在图像去模糊中得到了良好效果。

    Jul, 2011

  • 关于随机最大后验扰动度量的专业简体中文翻译

    本文提出了新的度量区间不等式方法，用于估算低维度 MAP 扰动期望值所需的样本数量，通过将该通用结果应用于 MAP 扰动，可以产生更有效的算法以从 Gibbs 分布中近似采样。

    Oct, 2013

  • 边缘 MAP 的变分算法

    本文针对图像模型的边缘 MAP 问题，提出了一种变分框架，运用 Bethe、tree-reweighted、mean field 逼近等方法得出 mixed message passing algorithm 和使用 CCCP 解决 BP-type 逼近的算法，并在实验中证明了我们的算法优于相关方法。此外，本文还表明 EM 和 variational EM 组成我们框架的一个特殊情况。

    Feb, 2012

  • 均场近似：信息不等式、算法和复杂度

    本文提供了一种新的较优 KL 误差的均场近似上下界，并推广到高阶马尔可夫随机场。结合组合数学和优化技术，我们还研究了估计 Ising 模型及马尔可夫随机场自由能的算法问题。我们提供了多种算法，在多项式时间复杂度内误差均控制在某个界内。

    Feb, 2018

  • 高斯模型中的贝特自由能和信息传递性质

    本文研究了高斯概率模型中的近似边缘计算问题，使用均值场和分数 Bethe 逼近，针对近似边缘的矩参数定义了高斯分数 Bethe 自由能，并导出了分数 Bethe 自由能的下限和上限，并建立了下限有下界的必要条件。通过反例推翻了关于自由能无界性与消息传递算法发散性问题的猜想，并证明了高斯消息传递算法的稳定固定点是高斯 Bethe 自由能的局部极小值点。

    Jan, 2014

  • CoinEM：基于粒子的变分推断无需调参的潜变量模型

    介绍了两种用于通过边缘最大似然估计学习潜变量模型的新的基于粒子的算法，其中包括一种完全免调范的算法。我们的方法基于作为优化问题的边缘最大似然估计的视角：即作为自由能泛函的最小化。我们验证了我们算法在广泛的数值试验中的性能，包括几个高维设置。

    May, 2023