Jan, 2017

受限低秩矩阵估计：相变、近似信息传递和应用

PDF
TL;DR本文介绍了一种研究低秩矩阵估计的框架，其中考虑了矩阵分解因素的限制和观察到矩阵的一般输出通道，给出了一个统一的方式研究向量自旋玻璃模型（Spin Glass Model）。文章对低秩矩阵的贝叶斯最优推理过程的相位转变进行了详细的研究，还介绍了相位转变的分类以及它们与算法性能之间的关系。
发现论文，激发创造
  • 通过近似传递消息估计低秩矩阵

    本文介绍了使用 Approximate Message Passing（AMP）算法结合谱初始化来实现 Bayes-optimal 精度的方法，特别关注了如何应用于低秩矩阵估计问题中，同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。

    Nov, 2017

  • 通过近似消息传递在旋转不变广义线性模型中的估计

    基于旋转不变设计矩阵的广义线性模型中，信号估计是一个问题。我们提出了一族新颖的近似传递消息 (AMP) 算法来估计信号，并通过状态演化递归在高维极限下严格表征了它们的性能。我们的旋转不变 AMP 与现有的基于高斯设计的 AMP 具有相同的复杂度；同时，我们的算法还将现有的 AMP 作为特例恢复。数值结果展示了与 Vector AMP（在某些情况下被猜想为贝叶斯最优）相近的性能，但是我们的算法复杂度更低，因为它不需要计算昂贵的奇异值分解。

    Dec, 2021

  • 矩阵张量积模型的近似消息传递算法

    提出并分析一种近似信息传递 (AMP) 算法，用于矩阵张量乘积模型，其中使用一种新方法在每次迭代中优化加权和组合多个估计；利用非可分函数的 AMP 收敛定理，证明了非可分函数的状态演变，提供了其在高维极限下性能的渐近精确描述。

    Jun, 2023

  • 一致参数估计的近似消息传递及其在稀疏学习中的应用

    提出了一种名为自适应广义近似信息传递（Adaptive GAMP）的新方法，它可以联合学习先验和测量通道的统计信息，同时估计未知向量，可应用于包括压缩感知中的稀疏先验学习、动态系统和神经尖峰过程中的线性非线性级联模型识别等一类学习问题，并证明了算法具有一定的收敛性。

    Jul, 2012

  • 对称秩一矩阵估计的互信息：复制公式的证明

    该论文研究如何采用严谨的方法证明低秩矩阵的对称秩一情况的互信息，进而表达最小均方误差和表征检测相位转变；同时介绍了一种被称为近似消息传递的迭代算法在贝叶斯最优条件下的优越性，并提出了通用的解决其他问题的方法。

    Jun, 2016

  • 贝叶斯最优矩阵分解中的相变和样本复杂度

    使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性，在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。

    Feb, 2014

  • 低秩张量补全的并行矩阵分解

    本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解，结果表明，该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量，而且实际数据的测试结果也有类似优势。

    Dec, 2013

  • 一般近似信息传递算法的状态演化及其在空间耦合中的应用

    本文探讨了一类近似信息传递算法并利用适当的状态演化递归刻画了它们在高维情况下的行为，证明适用于具有独立但不一定等同分布条目的高斯矩阵，其中包括 Rangan 介绍的广义 AMP 和压缩感知中与空间耦合的感知矩阵的 AMP 重建的分析。证明技术建立在 [BMS11] 的技术之上，同时简化并推广了几个步骤。

    Nov, 2012

  • 高维鲁棒 M 估计：通过近似消息传递得到渐近方差

    作者使用近似消息传递算法 (AMP) 来计算 M-estimator 的操作特性，在高维极限下分析 Lasso estimator 并研究正则化最小二乘问题中出现的额外的高斯噪音。

    Oct, 2013

  • 结构化低秩矩阵学习：算法与应用

    该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

    Apr, 2017