小随机梯度下降的非对称矩阵感知
通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。
Sep, 2015
研究非凸优化问题中梯度下降算法的隐式正则化特性，证明在多种统计模型中，梯度下降算法在没有显式正则化的情况下也能够实现正则化，并在相位恢复、低秩矩阵补全和盲反卷积等三个基本统计估计问题中实现近乎最优的统计和计算保证。
Nov, 2017
本文提出一种新算法ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。
May, 2020
本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的“有效秩”动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。
Nov, 2020
通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。
Dec, 2020
本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值，该证明基于新的对称化技术和定量扰动分析方法，并可以拓展到其他相关的非凸问题。
Jun, 2021
本文针对超参数模型上的梯度下降进行了研究，证明小随机初始化后的梯度下降与受欢迎的谱方法相似，并且可以在全局最优解附近泛化良好。具体而言，对于通过自然的非凸公式重构低秩矩阵的问题，我们证明了梯度下降迭代的轨迹可以近似分解为三个阶段。
Jun, 2021
对称矩阵完成问题的研究表明，使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解，即使在过参数优化情况下也成立；同时，初始点越小，解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法，拓展了经典的留一法分析范畴。
Feb, 2024
通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为“光谱神经网络（SNN）”的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信SNN架构在广泛的矩阵学习场景中具有潜在的适用性。
Feb, 2024
本研究解决了从少量线性测量中重建低秩矩阵的问题，并填补了现有非凸方法样本复杂度与核范数最小化之间的差距。通过采用谱初始化的分解梯度下降，证明在样本数量与秩、维度和条件数相关联时，非凸方法可实现线性收敛速率，显著提升了之前的二次依赖关系。这一发现对非凸问题的研究具有重要潜在影响。
Aug, 2024