无强凸性情况下Frank-Wolfe算法在秩一矩阵恢复中的线性收敛
通过矩阵分解问题中的凸松弛方法,结合核范数和分解式正则化,我们分析了一个能得到估计值的一般性定理,该定理可以适用于低秩矩阵、稀疏矩阵及一些可压缩的高维矩阵。我们利用了峰态条件,得到了确定性和随机性噪声矩阵的非渐近性弗罗贝尼乌斯误差界,同时也证实了最小化误差的下限和数值模拟结果的契合度。
Feb, 2011
该研究提出了一个基于Frank-Wolfe和近端方法的算法,以(基本上)线性的迭代成本来解决矩阵从压缩和严重损坏的观测中恢复的问题,证明其可行性,讨论了收敛结果和实现细节,并在可视数据上进行了良好的数值实验。
Mar, 2014
本文提出一种简单的交替最小化算法,提供了带权重低秩矩阵恢复的可证明的等保障,并不需要关于噪声的假设,其误差随交替次数按指数级递减,初始矩阵可以由SVD或随机初始化得到,这是一种非常简单的算法,可以显着扩展矩阵补全的结果,特别是那些存在于现有研究工作中的二进制权重问题。
Feb, 2016
该研究表明,使用非凸因式分解的参数化方法可以从不一致的线性测量中恢复低秩矩阵,且不存在虚假的局部最小值。并且在有噪声的测量中,所有局部最小值都非常靠近全局最优解。结合鞍点的曲率界限,保证了随机梯度下降从随机初始化出发以多项式时间全局收敛。
May, 2016
本文介绍了一种非凸优化方法,用于解决全观测和部分观测情况下的鲁棒主成分分析问题,该方法与现有最佳算法相比,显著降低了计算复杂度,并且在部分观测情况下,我们的算法在有可证明的情况下也是已知的运行时间最短的算法。
May, 2016
本研究通过使用秩-$k$变体的Frank-Wolfe算法对迹范数球上的凸优化问题进行求解,其将Frank-Wolfe中的$1$-SVD替换为$top-k$ SVD算法。实验表明,当目标函数是平滑的并且强凸的,且最优解的秩最多为$k$时,该算法具有线性收敛率,从而提高了Frank-Wolfe算法及其变体的收敛速度和总时间复杂度。
Aug, 2017
为了解决鲁棒矩阵恢复问题,本论文提出了一种基于条件梯度法的优化问题求解方法,针对两块变量分别进行约束优化,在满足特定条件下获得比传统方法更快的收敛速度,特别适用于其中一块变量为低秩矩阵的情况,且不需对数据进行任何统计假设前提。
Feb, 2018
该研究提出了一种新的低秩矩阵恢复方法,采用非平滑惩罚形式,在某些具体情况下能够克服传统平滑方法的病态问题,同时具有自适应性和鲁棒性。数值实验说明了该方法在解决相位恢复、盲卷积、矩阵补全和稳健PCA等计算任务中的优势。
Apr, 2019