均场近似:信息不等式、算法和复杂度
本文旨在解决反 Ising 问题,介绍了几种平均场近似的公式并推导了 Bethe 近似的新解析表达式,以此来比较其在随机图和规则晶格上定义的多种模型(包括稀释铁磁体和自旋玻璃)的准确性,并提出了简易改进。但也发现了在存在外部场的情况下,基于 TAP 和 Bethe 近似的方法有基础的局限性。
Dec, 2011
通过建立适当的零和游戏,采用概念上的方法来证明相互信息的下限,进而推广到具有高阶交互作用的任意马尔科夫随机场,从而获得在 n 个节点上学习具有 r 阶相互作用的有界次数图上的马尔科夫随机场的算法,样本复杂度为 log (n),时间复杂度为 n^r。
May, 2017
本文研究介绍了关于在局部收敛于树的图上的铁磁伊辛模型,通过证明原始图上的玻尔兹曼分布局部收敛于适当无限随机树上的玻尔兹曼分布并迭代一组平均场(空穴)方程,证明了定理无论在任何正温度和外部场中都能预测自由能的极限,同时局部边际分布可以近似。
Apr, 2008
研究了具有正交相互作用矩阵的 Ising 自旋模型中的亚稳态,特别关注随机模型和两种非随机模型。通过整合高温膨胀计算 Gibbs 自由能得到平均场方程。对于某些特殊的非随机情况,我们可以找到自由能的绝对最小值。最后,我们提出了一个明显不相关的复制计算,可以复制得到所有 tap 解决方案的分析表达式。
Mar, 1995
在这篇论文中,我们讨论了一种广义均场理论,它使用可追踪分布的丰富集合来近似表示一类难以处理的分布,并通过分布空间上的约束优化来实现。我们还介绍了一类广义均场算法,用于复杂的指数族模型的近似推断,它将复杂模型分解成一组不相交变量簇,并使用一组规范的定点方程来迭代地更新参数,找到保留每个簇内原始依赖结构的局部最优参数,因此完全分解了整体推断问题。通过实验证明,我们比较了不同可追踪族群(不同粒度的簇)对推理质量的影响,并将其与 BP 算法在几个标准模型上进行了比较。还讨论了高阶 MF 逼近的可能扩展。
Oct, 2012
本文中,我们提出了一种 Lasso 惩罚版本的 Monte Carlo 极大似然方法,用于高维二元马尔可夫随机场的模型选择问题。在证明了算法的正确性后,我们还研究了该方法的有效性。
Dec, 2016
在高维度的贝叶斯线性模型中,通过最小化 TAP 自由能量,我们展示了一种局部最小化算法,提供了与后验边际一致的估计,并可用于正确校准的后验推断。在一定的一般条件下,这种局部最小值可以通过 Approximate Message Passing (AMP) 算法找到,从而在局部邻域内线性收敛到最小值。
Nov, 2023
本文针对平均场算法在应对不可精确推断的图模型中的广泛使用进行研究,并将该算法转化为具有多层结构和绑定权重的前向网络以进行一些自然的扩展,包括权重不绑定和 MFNs 作为推理工具和判别模型,最终的实验结果表明,在作为判别模型时,MFNs 可以比平均场算法更有效地进行推理并具有更好的性能。
Oct, 2014