非凸优化遇见低秩矩阵分解:概述
矩阵分解是一种常用的大规模矩阵补全方法,本文提出了一种理论保证,即在正则化条件下,优化算法可以收敛于矩阵分解的全局最优解,并恢复真实的低秩矩阵,其中的非对称矩阵分解的扰动分析是一项技术贡献。
Nov, 2014
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
本文提出了一种基于截断的异性低秩正则化方法,通过使用功率方法逼近奇异值分解以提高计算效率,相比于传统核范数正则化方法,实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。
Dec, 2015
发展了一种新框架,旨在捕捉一般非凸低秩矩阵问题的共同局面,包括矩阵感知,矩阵完成和鲁棒PCA,在优化风景线的现有分析的基础上进行了连接和简化,自然地导致了不对称矩阵完成和鲁棒PCA的新结果
Apr, 2017
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
研究非凸优化问题中梯度下降算法的隐式正则化特性,证明在多种统计模型中,梯度下降算法在没有显式正则化的情况下也能够实现正则化,并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。
Nov, 2017
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
Feb, 2018
该研究提出了一种新的低秩矩阵恢复方法,采用非平滑惩罚形式,在某些具体情况下能够克服传统平滑方法的病态问题,同时具有自适应性和鲁棒性。数值实验说明了该方法在解决相位恢复、盲卷积、矩阵补全和稳健PCA等计算任务中的优势。
Apr, 2019