Apr, 2024

通过近似消息传递推断高维线性回归中的变点

PDF
TL;DR我们考虑高维线性回归中的变点定位问题，并提出一种用于估计信号和变点位置的近似消息传递（AMP）算法。假设高斯协变量，我们给出了在样本数与信号维度成比例增长的极限下其估计性能的精确渐近特征。我们的算法可以根据信号、噪声和变点的任何先验信息进行调整，并能够通过计算高效的近似后验分布来进行不确定性量化，其渐近形式我们进行了精确刻画。通过数值实验验证了我们的理论，并展示了我们估计器在合成数据和图像上的良好性能。
change pointshigh-dimensional linear regressionapproximate message passing (amp)estimation performanceuncertainty quantification
发现论文，激发创造
  • 高维鲁棒 M 估计：通过近似消息传递得到渐近方差

    作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性，在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。

    Oct, 2013

  • 通过近似消息传递在旋转不变广义线性模型中的估计

    基于旋转不变设计矩阵的广义线性模型中，信号估计是一个问题。我们提出了一族新颖的近似传递消息 (AMP) 算法来估计信号，并通过状态演化递归在高维极限下严格表征了它们的性能。我们的旋转不变 AMP 与现有的基于高斯设计的 AMP 具有相同的复杂度；同时，我们的算法还将现有的 AMP 作为特例恢复。数值结果展示了与 Vector AMP（在某些情况下被猜想为贝叶斯最优）相近的性能，但是我们的算法复杂度更低，因为它不需要计算昂贵的奇异值分解。

    Dec, 2021

  • 通过近似消息传递实现混合回归

    本文提出了一种基于 Matrix GLM 的近似消息传递算法（AMP）来估计混合线性回归等多个广义线性模型的信号，经过状态演化递归的理论分析得出该算法的性能，同时使用状态演化方法在每次迭代中选择 AMP 的最优去噪函数，数值模拟结果验证了 AMP 算法对于混合线性回归和 max-affine 回归等问题的优越表现。

    Apr, 2023

  • 多层广义线性估计

    本文应用统计物理的标准方法，提出了多层近似信息传递算法来重构一个信号从多层（可能是非线性的）测量中，并推导出相关的状态演化方程来分析其性能。文中还介绍了一些这种测量模型在压缩感知、结构化矩阵 / 模式下的感知器学习以及自编码器中潜变量估计的应用。

    Jan, 2017

  • 通过近似传递消息估计低秩矩阵

    本文介绍了使用 Approximate Message Passing（AMP）算法结合谱初始化来实现 Bayes-optimal 精度的方法，特别关注了如何应用于低秩矩阵估计问题中，同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。

    Nov, 2017

  • 广义线性模型的谱初始化近似消息传递

    本文章研究了使用广义线性模型的估计问题并探讨了使用近似消息传递算法的表现，提出使用谱估计器作为初始化方法以解决一些模型中初始化时的相关性和独立性问题，并通过两阶段人工消息传递算法进行分析和模拟实验验证了该方法。

    Oct, 2020

  • 广义线性模型的向量近似传递算法

    本文介绍了将 “vector AMP” 算法推广到广义线性模型 (Genelized Linear Model, GLM) 中的方法，通过实验表明所提出的 GLM-VAMP 算法比阻尼 GAMP 算法更能应对矩阵 A 病态化的情况。

    Dec, 2016

  • 基于随机线性混合的广义近似消息传递估计

    提出了一种名为广义近似消息传递（GAMP）的算法，它可以对非线性压缩感知和学习问题进行计算上高效的近似实现，同时可以应用于线性变换后的任意分布输入和输出。分析表明，在大型、i.i.d. 高斯转换下，该方法的渐近分量行为由一组简单的状态演化（SE）方程式描述，并可预测几乎任何分量性能指标的渐近值，包括均方误差或检测准确性；该分析对任意输入和输出分布均有效，即使对应的优化问题是非凸的。因此，GAMP 方法提供了一种计算有效的方法，适用于具有精确渐近性能保证的大类非高斯估计问题。

    Oct, 2010

  • 一致参数估计的近似消息传递及其在稀疏学习中的应用

    提出了一种名为自适应广义近似信息传递（Adaptive GAMP）的新方法，它可以联合学习先验和测量通道的统计信息，同时估计未知向量，可应用于包括压缩感知中的稀疏先验学习、动态系统和神经尖峰过程中的线性非线性级联模型识别等一类学习问题，并证明了算法具有一定的收敛性。

    Jul, 2012

  • 一种非渐进分布理论的逼近传递消息算法在稀疏和鲁棒回归中的应用

    通过开发非渐进性近似传递消息（AMP）的分布特征，本文在稀疏回归和鲁棒回归方面取得了进展，建立了 AMP 的首个有限样本的非渐进性分布理论，适应了多项迭代次数，进一步改进了高斯近似的精确度，提高了 Lasso 和鲁棒 M - 估计器的分布特征。

    Jan, 2024