本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值，该证明基于新的对称化技术和定量扰动分析方法，并可以拓展到其他相关的非凸问题。

Jun, 2021

本研究探讨通过非凸优化从线性测量（即矩阵感知）中估计低秩矩阵的问题，并建议了一种有效的随机方差减少梯度下降算法来解决此问题。我们的算法适用于有噪声和无噪声的情况。在有噪声的情况下，我们证明了该算法在最小化统计误差方面以线性速率收敛于未知低秩矩阵。在无噪声的情况下，我们的算法保证线性收敛于未知低秩矩阵，并在最优采样复杂度下实现了精确恢复。值得注意的是，我们提出的算法的总计算复杂度（定义为迭代复杂度乘以每次迭代时间复杂度）低于基于梯度下降的最新算法。用合成数据的实验证明了该算法优于现有算法。

Jan, 2017

通过将分解矩阵 F 分解为单独的列空间来捕捉额外等级的影响，我们考虑使用分解梯度下降（FGD）方法来解决低秩矩阵感知问题，该问题将真实排名为空未知且超说明定。因此，我们提供了 FGD 在超参数矩阵感知问题的统计和计算复杂性的全面图景。

Jan, 2021

本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的 “有效秩” 动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。

Nov, 2020

通过梯度下降算法，我们探讨了诱导隐式正则化的作用，特别是在张量优化中的角色，尤其是在提升矩阵感知框架中。我们的发现强调了在与一阶方法相结合的矩阵感知中，张量参数化在实现全局最优性方面的重要性。

Oct, 2023

研究论文通过严格的证明展示了过参数化如何改变矩阵感知问题中梯度下降的收敛行为，论文涉及过参数化与称对称参数化以及非对称参数化，提出了线性收敛结果并给出了关键关键字。

Oct, 2023

利用条件独立 RIP 特性构造 GMF 模型的估计序列，实现在线学习、线性收敛及对只消耗 O (kd) 内存，在遍历一遍数据集时，仅需要执行矩阵−向量乘积操作的推广版因子分解机 (gFM)。

Aug, 2016

本文研究了正定矩阵和一层神经网络的学习问题，通过梯度下降算法和二次激活函数的方式来实现隐式正则化，提出利用 UU 转置参数化正定矩阵并最小化平方损失函数的方法来恢复正定矩阵，并且证明在初始值的基础上，梯度下降算法大约在 O (sqrt (r)) 步长内能复原正定矩阵。

Dec, 2017

通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。

Dec, 2020

本文提出一种新算法 ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。

May, 2020