本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
该研究通过对矩阵分解、张量分解和深度神经网络训练等问题的非凸优化问题的充分条件分析,提出了一种通用框架,能够在任意初始的情况下使用纯局部下降算法找到全局最小值,为深度神经网络的优化提供了理论支持和指导。
Jun, 2015
本文中提出了一种迭代元算法,通过动态扩展参数空间,避免优化陷入局部最优解,从而更好地解决低秩矩阵因式分解问题及其应用。
Jun, 2017
本文研究了针对大规模低秩矩阵的部分和带噪声数据中的矩阵补全问题,采用凸松弛和 Burer-Monteiro 方法,成功地将凸松弛的实践与非凸方法的统计保证相结合,取得了近乎最优的估计误差。
Feb, 2019
本文针对两个广泛使用的最小化问题:凸函数最小化问题和加上核范数的凸函数最小化问题,提出使用低秩分解和替代核范数的方法来加速求解问题,并证明其可以在全局范围内找到最优解。
Nov, 2016
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
本文研究了使用 Riemannian 几何的非凸矩阵分解方法来完成矩阵补全的问题,并且基于 Grassmann 流形提出了一种优化模型来表征优化问题的解空间,并探究了其几何形态。在完全观测的情况下,我们证明有一定区域使得代价函数的形式是地质凸的,在这个区域之外,所有的拐点都是严格的鞍点。最后,我们结合实验结果研究了部分观测的情况。
Feb, 2021
本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解,结果表明,该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量,而且实际数据的测试结果也有类似优势。
Dec, 2013
本文提出了一种新的非凸规范化算法,基于矩阵分解中非零列数的松弛,能够更加高效、准确地完成低秩矩阵的恢复和主要成分分析。
Nov, 2019