本文研究了低秩张量的恢复保证,其中使用了迹范数和Frobenius范数来最小化张量,得到了与最小化迹范数类似的精确保证,只要满足感知算子的鸟巢空间性质,受限等谱性质或球面截面性质。
Jul, 2012
该研究表明,使用非凸因式分解的参数化方法可以从不一致的线性测量中恢复低秩矩阵,且不存在虚假的局部最小值。并且在有噪声的测量中,所有局部最小值都非常靠近全局最优解。结合鞍点的曲率界限,保证了随机梯度下降从随机初始化出发以多项式时间全局收敛。
May, 2016
本文探讨了基于受限等距性质(RIP)假设的非方阵矩阵感知问题,并关注了非凸形式化的矩阵分解,证明了矩阵分解不会在 RIP 下引入任何虚假的局部最小值。
Sep, 2016
发展了一种新框架,旨在捕捉一般非凸低秩矩阵问题的共同局面,包括矩阵感知,矩阵完成和鲁棒PCA,在优化风景线的现有分析的基础上进行了连接和简化,自然地导致了不对称矩阵完成和鲁棒PCA的新结果
Apr, 2017
本文研究了低秩矩阵恢复的局部极小点问题,分析了一定程度的受限等距性并不能消除这些极小点,而随机梯度下降算法在某些情况下可能无法避免或逃脱这些极小点。因此,对于低秩矩阵恢复的精确恢复保证需要证明不存在这些局部极小点而不是仅仅基于范数的保持。
May, 2018
本文研究了针对大规模低秩矩阵的部分和带噪声数据中的矩阵补全问题,采用凸松弛和Burer-Monteiro方法,成功地将凸松弛的实践与非凸方法的统计保证相结合,取得了近乎最优的估计误差。
Feb, 2019
本文提出了一种适用于Riemann流形上低秩矩阵恢复问题的新的全局分析框架,其中使用Riemann梯度下降算法最小化最小二乘损失函数,并研究了渐近行为以及精确收敛速率。
Dec, 2020
本文研究了在低噪声环境下使用iid子高斯噪声的归纳矩阵填充问题(带侧面信息的矩阵填充),首次获得了普适性界限,并呈现出标准差与零误差恢复情况下的规模趋近,结果表明:在样本大小趋近于无穷大时,噪声即使存在也会趋近于零,对于侧面信息的固定维度而言,它们只有对矩阵大小的对数依赖性。
Dec, 2022
对称矩阵完成问题的研究表明,使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解,即使在过参数优化情况下也成立;同时,初始点越小,解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法,拓展了经典的留一法分析范畴。
Feb, 2024
本研究探讨了非光滑非凸优化的oracle复杂性,针对局部算法在给定一定条件下无法在子指数时间内提供有意义的局部保证的问题。通过分析,我们发现即使所有近似驻点都是全局极小值,局部利普希茨函数的局部算法在最坏情况下依然不能提供有效的函数值保证,这与光滑情况下标准梯度方法的结果形成鲜明对比。此发现对理论计算机科学文献中的困难性研究提供了补充。
Sep, 2024