本文提出了一个基于 Riemann 流形的梯度下降法以及一个几何性质框架，并探讨了如何将慢速收敛的结果转化为快速收敛结果。此外，我们将该框架应用于几何上强凸和欧几里得非凸问题，以及流式 $k$-PCA 问题，并展示了如何加速随机幂法的优化率。
Feb, 2018
对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。
Nov, 2023
提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。
Jun, 2024
该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。
Feb, 2019
这篇论文提出了一种分布式黎曼共轭梯度下降（DRCGD）方法，旨在最小化斯蒂弗尔流形上的全局函数，该方法是第一个能够在斯蒂弗尔流形上实现全局收敛的分布式黎曼共轭梯度算法，并且避免了昂贵的黎曼几何运算，从而减少了每个代理所需的计算复杂性。
Aug, 2023
本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。
May, 2016
将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。
Oct, 2018
本文提出了一种适用于 Riemann 流形上低秩矩阵恢复问题的新的全局分析框架，其中使用 Riemann 梯度下降算法最小化最小二乘损失函数，并研究了渐近行为以及精确收敛速率。
Dec, 2020
我们介绍了一种无需调整学习率的创新随机优化算法，用于在 Riemannian 流形上进行优化，消除了手动调整的需求并提供了更稳健和用户友好的方法。通过数值实验证实了我们的方法，表现出与依赖学习率的算法相竞争的性能，并建立了最优的高概率收敛性保证。
本文证明了随机初始化的梯度下降会收敛到局部最小值，证明使用了动力系统理论的 Stable Manifold Theorem。
Feb, 2016