通过将分解矩阵 F 分解为单独的列空间来捕捉额外等级的影响，我们考虑使用分解梯度下降（FGD）方法来解决低秩矩阵感知问题，该问题将真实排名为空未知且超说明定。因此，我们提供了 FGD 在超参数矩阵感知问题的统计和计算复杂性的全面图景。

Jan, 2021

对称矩阵完成问题的研究表明，使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解，即使在过参数优化情况下也成立；同时，初始点越小，解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法，拓展了经典的留一法分析范畴。

Feb, 2024

本文研究了正定矩阵和一层神经网络的学习问题，通过梯度下降算法和二次激活函数的方式来实现隐式正则化，提出利用 UU 转置参数化正定矩阵并最小化平方损失函数的方法来恢复正定矩阵，并且证明在初始值的基础上，梯度下降算法大约在 O (sqrt (r)) 步长内能复原正定矩阵。

Dec, 2017

本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值，该证明基于新的对称化技术和定量扰动分析方法，并可以拓展到其他相关的非凸问题。

Jun, 2021

矩阵感知是从少量线性测量中重建低秩矩阵的问题，我们引入了连续微分方程，称其为 “扰动梯度流”，通过边界足够有界的累计误差，证明扰动梯度流迅速收敛到真实目标矩阵，从而提供了一种基于梯度下降的非对称矩阵感知的新证明方法。

Sep, 2023

本文针对超参数模型上的梯度下降进行了研究，证明小随机初始化后的梯度下降与受欢迎的谱方法相似，并且可以在全局最优解附近泛化良好。具体而言，对于通过自然的非凸公式重构低秩矩阵的问题，我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。

Jun, 2021

本文研究了交替梯度下降算法应用于非对称矩阵分解目标函数的收敛性分析，证明了在充分迭代步数内，随机初始化下可以收敛到较优解，此结果可以为更广泛的非凸低秩矩阵分解问题的收敛分析提供帮助，并在实验中得到了验证。

May, 2023

本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

Oct, 2023

本文提出了一种适用于 Riemann 流形上低秩矩阵恢复问题的新的全局分析框架，其中使用 Riemann 梯度下降算法最小化最小二乘损失函数，并研究了渐近行为以及精确收敛速率。

Dec, 2020

研究了深度学习模型过度参数化和随机梯度下降的泛化能力现象，探讨了稀疏恢复的情况，提出了一种相应的超参数化均方误差损失函数，证明了该函数的梯度下降可以收敛到最小 L1 范数的好近似解。

Dec, 2021