通过利用特殊结构（如 Stiefel 流形、simplectic Stiefel 流形、Grassmann 流形和 simplectic Grassmann 流形）对神经网络优化进行降维处理，成功地将 Adam 算法推广到了流形层面上，并将其用于训练转换器，可以有效地加速训练过程。

May, 2023

提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

Jun, 2024

将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。

Oct, 2018

我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括 CCA、ICA 和 GEVP 在内的各种涉及广义正交性约束的机器学习应用中的有效性。

May, 2024

该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。

Feb, 2019

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023

本篇文章提出了新的方法，以解决施加在黎曼流形上的最优化问题，并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法，并分析了它们的收敛性质，其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法，分别表现出二次和超线性收敛性。此外，还给出了一些在某些黎曼流形上的实例以及数字实验的结果。

Jul, 2014

介绍了一种在 Riemann 流形上使用 Stiefel 近似的 Hessian-free 方法，通过使用 Stiefel 全连接层来增强基于梯度的元学习方法的表示重用，实验结果表明该方法在各种少样本学习数据集上优于现有方法，尤其是欧几里得对应的 MAML。

Feb, 2024

该研究提出了在 Stiefel 流形上优化问题的约束保持更新框架，并使用低复杂度的成本发现了一种新的更新方案。通过自适应非单调线性搜索确定该方法的全局收敛性， 数值测试表明这种框架适用于最近的低秩相关矩阵问题，Kohn-Sham 总能量最小化及统计学中的特殊问题。

Jan, 2013

本文介绍了关于 Grassmann 和 Stiefel 曼陀罗上的一些新的数值线性代数算法，具有优秀的性能表现，并可用于对称特征值问题、非线性特征值问题、电子结构计算和信号处理等领域中出现的约束条件进行建模。

Jun, 1998