多面体相变和信息传递算法中的普适性
本文研究高维组合几何中的相变与现代高维数据分析和信号处理中的相变之间的联系,并探讨了阈值的重要性和在不同问题中的应用。作者进行了广泛的计算实验和形式推断分析,证明了这些相变在一定条件下是普适的,但有限样本上的普适性则被拒绝。
Jun, 2009
本文介绍了一种研究低秩矩阵估计的框架,其中考虑了矩阵分解因素的限制和观察到矩阵的一般输出通道,给出了一个统一的方式研究向量自旋玻璃模型(Spin Glass Model)。文章对低秩矩阵的贝叶斯最优推理过程的相位转变进行了详细的研究,还介绍了相位转变的分类以及它们与算法性能之间的关系。
Jan, 2017
该论文通过对 TAP 均场方程进行迭代求解,研究了具有随机耦合矩阵的 Ising 模型。作者使用动态函数方法分析了迭代算法,并提出了关于通用不变集合的隐式记忆项的表达式。通过去除它们,迭代只依赖于高斯分布的场。作者还表明,如果符合一个稳定性准则,则 TAP 磁化是稳定的固定点。作者在本文中明确探讨了从随机正交集合中获得的耦合矩阵的情况。
Sep, 2015
本论文提出了一种迭代算法,用以求解具有任意旋转不变(随机)耦合矩阵的 Ising 模型的 Thouless-Anderson-Palmer (TAP) 方程。我们通过动力学函数方法证明,在热力学极限下,当满足所谓的 de Almeida Thouless (AT) 准则时,所提出的算法会收敛。此外,我们还给出了收敛速率的精确分析表达式。
Jan, 2019
本文采用随机协方差矩阵和动力学平均场方程来分析一种用于大型高斯潜变量模型的随机顺序消息传递算法,包括模型不匹配情境和算法收敛的模型参数取值范围.
Feb, 2022
该研究利用近似信息传递算法和状态演化方程分析多维度动态,研究从多个汇总子集的直方图中恢复分类变量离散信号的问题,并揭示了 AMP 行为从精确恢复到弱相关与信号的锐利相变现象,通过一些特殊情况的公式推导,准确地展示了它们与实验行为的匹配。
Feb, 2017
本文探讨了一类近似信息传递算法并利用适当的状态演化递归刻画了它们在高维情况下的行为,证明适用于具有独立但不一定等同分布条目的高斯矩阵,其中包括 Rangan 介绍的广义 AMP 和压缩感知中与空间耦合的感知矩阵的 AMP 重建的分析。证明技术建立在 [BMS11] 的技术之上,同时简化并推广了几个步骤。
Nov, 2012
通过重新审视神经网络 Hopfield 模型中的均场方程(置信度传播和 TAP 方程),我们提出如何将其作为迭代消息传递算法,以提供计算局部神经元极化的快速方法,并显示 TAP 方程在处理与组合结构相关的存储器模式时要进行修改。
Aug, 2016
在高维度的贝叶斯线性模型中,通过最小化 TAP 自由能量,我们展示了一种局部最小化算法,提供了与后验边际一致的估计,并可用于正确校准的后验推断。在一定的一般条件下,这种局部最小值可以通过 Approximate Message Passing (AMP) 算法找到,从而在局部邻域内线性收敛到最小值。
Nov, 2023