非凸低秩问题中不存在虚假局部极小点:统一的几何分析
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
该研究表明,使用非凸因式分解的参数化方法可以从不一致的线性测量中恢复低秩矩阵,且不存在虚假的局部最小值。并且在有噪声的测量中,所有局部最小值都非常靠近全局最优解。结合鞍点的曲率界限,保证了随机梯度下降从随机初始化出发以多项式时间全局收敛。
May, 2016
本文提出了一种简单的投影梯度下降方法来估计低秩矩阵,用于解决鲁棒矩阵完成问题,并且包括清除一些受损条目的步骤,并在低秩矩阵完成问题中获得了最优观测次数和最优破坏次数的解决方法。同时,本文的结果还意味着,对于低秩矩阵完成问题的时间复杂度界限,取得了重要的改进。最后,通过将结果应用于鲁棒PCA问题,得到了高效的解决方案
Jun, 2016
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本文研究了针对大规模低秩矩阵的部分和带噪声数据中的矩阵补全问题,采用凸松弛和Burer-Monteiro方法,成功地将凸松弛的实践与非凸方法的统计保证相结合,取得了近乎最优的估计误差。
Feb, 2019
通过将低秩矩阵补全问题重新表述为在投影矩阵的非凸集上的凸问题,并实施一个可证明最优的分离分支限界方案,推导出一类新的收敛松弛方法。数值实验表明,相比现有的收敛松弛方法,我们的新型收敛松弛方法将最优性差距降低了两个数量级。此外,我们展示了我们的分离分支限界方案的性能,并展示了它在解决矩阵完成问题方面的优异表现。
May, 2023
通过推导理论,证明矩阵感知问题中存在有利于优化的严格鞍点,从而解释了非凸优化中的复杂性,并介绍了高阶损失函数对远离真实矩阵的鞍点的影响,加速了逃离和解决非凸优化问题,为解决机器学习中的更广泛目标提供了一个综合框架。
Mar, 2024
对称半正定低秩矩阵完成问题进行研究,包括确定性依赖于矩阵元素的采样。首先通过实验证明该问题的全局最优点与梯度下降算法具有难以收敛的关系,但证明了在矩阵因子的秩较小且满足一定假设的情况下,非凸目标函数在一个低秩矩阵附近的商流形上是测地强凸的。此外,通过实验证明所提出的GD初始参数设计能够保证收敛到全局最小值。还进行广泛实验,比较了不同初始化、噪声水平、维度和秩对MC方法的收敛性和完成性能的影响。
Jun, 2024