本研究展示了低秩最小二乘问题上的随机梯度下降算法的步长设定方案,并证明了在广泛的采样条件下,该算法能够从一个随机起始点全局收敛。
Nov, 2014
本研究提出了一种基于梯度下降的简单、可扩展、快速的算法来优化处理秩最小化问题及其相关的半定规划问题。通过对一个秩为 r 和条件数为 κ 的正半定 n x n 矩阵进行 O(r³κ²n log n) 次随机测量,我们证明了该方法可线性收敛于全局最优解。
Jun, 2015
该研究提出了一种可证明,高效的在线算法,用于矩阵完成问题。该算法使用随机梯度下降,具有快速的更新时间,并可自然地用于离线设置。
May, 2016
发展了一种新框架,旨在捕捉一般非凸低秩矩阵问题的共同局面,包括矩阵感知,矩阵完成和鲁棒PCA,在优化风景线的现有分析的基础上进行了连接和简化,自然地导致了不对称矩阵完成和鲁棒PCA的新结果
Apr, 2017
本文研究了低秩矩阵恢复的局部极小点问题,分析了一定程度的受限等距性并不能消除这些极小点,而随机梯度下降算法在某些情况下可能无法避免或逃脱这些极小点。因此,对于低秩矩阵恢复的精确恢复保证需要证明不存在这些局部极小点而不是仅仅基于范数的保持。
May, 2018
本文引入证明技巧,针对 rank-1 矩阵恢复问题,证明当受限等距特性常数 delta 小于 1/2 时,不存在伪局部极小值,并且任何收敛到二阶最优性的下降算法可以保证精确恢复。
Jan, 2019
该研究提出了一种新的低秩矩阵恢复方法,采用非平滑惩罚形式,在某些具体情况下能够克服传统平滑方法的病态问题,同时具有自适应性和鲁棒性。数值实验说明了该方法在解决相位恢复、盲卷积、矩阵补全和稳健PCA等计算任务中的优势。
Apr, 2019
本文提出了一种适用于Riemann流形上低秩矩阵恢复问题的新的全局分析框架,其中使用Riemann梯度下降算法最小化最小二乘损失函数,并研究了渐近行为以及精确收敛速率。
Dec, 2020
对称矩阵完成问题的研究表明,使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解,即使在过参数优化情况下也成立;同时,初始点越小,解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法,拓展了经典的留一法分析范畴。
Feb, 2024
本研究解决了从少量线性测量中重建低秩矩阵的问题,并填补了现有非凸方法样本复杂度与核范数最小化之间的差距。通过采用谱初始化的分解梯度下降,证明在样本数量与秩、维度和条件数相关联时,非凸方法可实现线性收敛速率,显著提升了之前的二次依赖关系。这一发现对非凸问题的研究具有重要潜在影响。
Aug, 2024