通过缩放梯度下降加速恶态低秩矩阵估计
本文提出了一种新的基于贝叶斯原则的稀疏学习(SBL)的“矩阵完成”和“鲁棒主成分分析”算法,该方法通过将低秩约束作为稀疏约束来确定正确的秩,并能提供很高的恢复性能。
Feb, 2011
通过矩阵分解和投影梯度下降算法解决约束最优化问题,提供了一种通用理论框架,当给定适当的初始化时,可以几何级数地收敛到具有统计意义的解,适用于许多具体模型。
Sep, 2015
本文提出了一种基于截断的异性低秩正则化方法,通过使用功率方法逼近奇异值分解以提高计算效率,相比于传统核范数正则化方法,实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。
Dec, 2015
为了解决鲁棒矩阵恢复问题,本论文提出了一种基于条件梯度法的优化问题求解方法,针对两块变量分别进行约束优化,在满足特定条件下获得比传统方法更快的收敛速度,特别适用于其中一块变量为低秩矩阵的情况,且不需对数据进行任何统计假设前提。
Feb, 2018
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
Feb, 2018
本文从统计模型的角度出发,系统地讨论低秩矩阵分解非凸优化的可靠解法,总结出了两种方法:1. 根据问题特征设计初始值,进行迭代求解;2. 利用全局凸性分析,无需初始值,直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。
Sep, 2018
本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性,在线性网络和估计问题上,分析梯度下降中的“有效秩”动态变化,提出了矩阵低秩投影的有效秩,为理解深度学习奠定了基础。
Nov, 2020
本文研究了从噪声测量中估计低秩矩阵的问题,并提出一种修改的非凸梯度下降方法,既能解决慢收敛的问题,又能保持极小值最优性,通过医学成像应用的实验,我们观察到,与先前的方法相比,重建误差显着减小。
May, 2023
本研究论文介绍了一种名为ScaledGD的新算法,通过合适的预处理能够快速收敛于低秩对象,并在多种任务中保持梯度下降的低迭代成本,同时无论条件数如何,都能以恒定速率线性收敛,突出了在加速非凸统计估计中适当预处理的能力。
Oct, 2023
本研究解决了从少量线性测量中重建低秩矩阵的问题,并填补了现有非凸方法样本复杂度与核范数最小化之间的差距。通过采用谱初始化的分解梯度下降,证明在样本数量与秩、维度和条件数相关联时,非凸方法可实现线性收敛速率,显著提升了之前的二次依赖关系。这一发现对非凸问题的研究具有重要潜在影响。
Aug, 2024