矩阵分解的交替梯度下降收敛
矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。
Nov, 2014
通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。
Sep, 2015
通过使用矩阵因式分解的梯度下降法来优化欠定二次目标函数时，对步长采用合适大小以及初始值足够接近原点进行隐式正则化会使得梯度下降法收敛到最小核范数解，这一结论在实证和理论方面都得到了支持。
May, 2017
本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的“有效秩”动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。
Nov, 2020
通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。
Dec, 2020
本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值，该证明基于新的对称化技术和定量扰动分析方法，并可以拓展到其他相关的非凸问题。
Jun, 2021
对称矩阵完成问题的研究表明，使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解，即使在过参数优化情况下也成立；同时，初始点越小，解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法，拓展了经典的留一法分析范畴。
Feb, 2024
本研究针对低秩矩阵分解在联邦学习设置中的分布式算法进行了分析，解决了在多客户端环境中数据集局部性对模型训练的影响。通过将光滑非凸问题转化为光滑强凸问题，我们提出了基于并行Nesterov梯度下降的解决方案，并证实了其收敛速度优于现有文献的结果。实验表明，该方法在重构误差上表现出显著改善，能够有效提升模型训练的效率。
Sep, 2024