ICMLDec, 2021

通过近似消息传递在旋转不变广义线性模型中的估计

PDF
TL;DR基于旋转不变设计矩阵的广义线性模型中，信号估计是一个问题。我们提出了一族新颖的近似传递消息 (AMP) 算法来估计信号，并通过状态演化递归在高维极限下严格表征了它们的性能。我们的旋转不变 AMP 与现有的基于高斯设计的 AMP 具有相同的复杂度；同时，我们的算法还将现有的 AMP 作为特例恢复。数值结果展示了与 Vector AMP（在某些情况下被猜想为贝叶斯最优）相近的性能，但是我们的算法复杂度更低，因为它不需要计算昂贵的奇异值分解。
signal estimationgeneralized linear modelsrotationally invariant design matricesapproximate message passingstate evolution recursion
发现论文，激发创造
  • 广义线性模型的谱初始化近似消息传递

    本文章研究了使用广义线性模型的估计问题并探讨了使用近似消息传递算法的表现，提出使用谱估计器作为初始化方法以解决一些模型中初始化时的相关性和独立性问题，并通过两阶段人工消息传递算法进行分析和模拟实验验证了该方法。

    Oct, 2020

  • 广义线性模型的向量近似传递算法

    本文介绍了将 “vector AMP” 算法推广到广义线性模型 (Genelized Linear Model, GLM) 中的方法，通过实验表明所提出的 GLM-VAMP 算法比阻尼 GAMP 算法更能应对矩阵 A 病态化的情况。

    Dec, 2016

  • 通过近似传递消息估计低秩矩阵

    本文介绍了使用 Approximate Message Passing（AMP）算法结合谱初始化来实现 Bayes-optimal 精度的方法，特别关注了如何应用于低秩矩阵估计问题中，同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。

    Nov, 2017

  • 针对正交不变整体的近似消息传递：多元非线性和谱初始化

    本研究研究了一类适用于具有正交不变噪声的对称和矩形钉子随机矩阵模型的近似消息传递（AMP）算法，并使用贝叶斯方法介绍了一个 Bayes-OAMP 算法。

    Oct, 2021

  • 用于旋转不变矩阵的近似消息传递算法

    本文研究了基于正交旋转不变性矩阵的更通用的近似传递算法（AMP），其中该算法的 Onsager 修正和状态演化由该矩阵的谱分布的自由累积量或矩形自由累积量定义。研究还表明，该算法用于具有先验结构的主成分分析时，可以比样本主成分更准确地进行估计。

    Aug, 2020

  • 通过近似消息传递实现混合回归

    本文提出了一种基于 Matrix GLM 的近似消息传递算法（AMP）来估计混合线性回归等多个广义线性模型的信号，经过状态演化递归的理论分析得出该算法的性能，同时使用状态演化方法在每次迭代中选择 AMP 的最优去噪函数，数值模拟结果验证了 AMP 算法对于混合线性回归和 max-affine 回归等问题的优越表现。

    Apr, 2023

  • 多层广义线性估计

    本文应用统计物理的标准方法，提出了多层近似信息传递算法来重构一个信号从多层（可能是非线性的）测量中，并推导出相关的状态演化方程来分析其性能。文中还介绍了一些这种测量模型在压缩感知、结构化矩阵 / 模式下的感知器学习以及自编码器中潜变量估计的应用。

    Jan, 2017

  • 矩阵张量积模型的近似消息传递算法

    提出并分析一种近似信息传递 (AMP) 算法，用于矩阵张量乘积模型，其中使用一种新方法在每次迭代中优化加权和组合多个估计；利用非可分函数的 AMP 收敛定理，证明了非可分函数的状态演变，提供了其在高维极限下性能的渐近精确描述。

    Jun, 2023

  • 通过近似消息传递推断高维线性回归中的变点

    我们考虑高维线性回归中的变点定位问题，并提出一种用于估计信号和变点位置的近似消息传递（AMP）算法。假设高斯协变量，我们给出了在样本数与信号维度成比例增长的极限下其估计性能的精确渐近特征。我们的算法可以根据信号、噪声和变点的任何先验信息进行调整，并能够通过计算高效的近似后验分布来进行不确定性量化，其渐近形式我们进行了精确刻画。通过数值实验验证了我们的理论，并展示了我们估计器在合成数据和图像上的良好性能。

    Apr, 2024

  • S-AMP: 一般矩阵 Ensembles 的近似消息传递

    本文介绍了一种新型的迭代估计算法 S-AMP，其固定点是在一组（一阶和二阶）矩匹配约束下准确吉布斯自由能的静止点，在大系统极限下。该算法基于测量矩阵的频谱的 S 变换，并将近似信息传递（AMP）算法推广到一般矩阵集合上。此外，我们还表明，S-AMP 的最优性是直接由其设计而不是通过解决单独的优化问题（如 AMP 算法）而实现的。

    May, 2014