低秩矩阵恢复的局部搜索的全局最优性
发展了一种新框架,旨在捕捉一般非凸低秩矩阵问题的共同局面,包括矩阵感知,矩阵完成和鲁棒 PCA,在优化风景线的现有分析的基础上进行了连接和简化,自然地导致了不对称矩阵完成和鲁棒 PCA 的新结果
Apr, 2017
本文提出了一种适用于 Riemann 流形上低秩矩阵恢复问题的新的全局分析框架,其中使用 Riemann 梯度下降算法最小化最小二乘损失函数,并研究了渐近行为以及精确收敛速率。
Dec, 2020
本研究探讨通过非凸优化从线性测量(即矩阵感知)中估计低秩矩阵的问题,并建议了一种有效的随机方差减少梯度下降算法来解决此问题。我们的算法适用于有噪声和无噪声的情况。在有噪声的情况下,我们证明了该算法在最小化统计误差方面以线性速率收敛于未知低秩矩阵。在无噪声的情况下,我们的算法保证线性收敛于未知低秩矩阵,并在最优采样复杂度下实现了精确恢复。值得注意的是,我们提出的算法的总计算复杂度(定义为迭代复杂度乘以每次迭代时间复杂度)低于基于梯度下降的最新算法。用合成数据的实验证明了该算法优于现有算法。
Jan, 2017
本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值,该证明基于新的对称化技术和定量扰动分析方法,并可以拓展到其他相关的非凸问题。
Jun, 2021
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本文介绍了一种可行的方法,利用梯度下降并结合谱初始化逼近正半定秩为 r 的矩阵 X X^T,并证明了在高斯分布下均匀采样 m >= Cnrlog^2 (n) 个样本时,可以在有很高概率下找到初始点,从而使梯度下降能收敛到正确结果。
Jun, 2015
该研究提出了一种新的低秩矩阵恢复方法,采用非平滑惩罚形式,在某些具体情况下能够克服传统平滑方法的病态问题,同时具有自适应性和鲁棒性。数值实验说明了该方法在解决相位恢复、盲卷积、矩阵补全和稳健 PCA 等计算任务中的优势。
Apr, 2019