梯度下降优化在流形上的平凡化
本文介绍了一种扩展随机梯度下降算法来优化在Riemannian流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。
Nov, 2011
采用Riemannian余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。
Sep, 2012
提出了一种新的算法来解决优化问题，该算法针对平滑函数和受限X的正半定和对角块小标识矩阵的约束。该算法利用该问题的低秩解和黎曼流形上的光滑优化问题的秩约束版本的事实，并比较该算法与成熟软件的优势。
Jun, 2015
将Adam、Adagrad和Amsgrad等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。
Oct, 2018
该研究提出了一种针对Riemannian矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。
Feb, 2019
本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的PL$^*$条件密切相关，这解释了（S）GD对全局最小值的收敛，并提出了一个放松PL$^*$条件的方法可应用于几乎超参数系统。
Feb, 2020
本文证明了监督学习中的黎曼收缩会导致泛化，对于凸性和非凸性的损失表面，在确定性和随机优化中，如果优化器在某种黎曼度量模下的缩小速率为λ>0，则它的均匀算法稳定性速率为O(1/λn)（其中n是训练集中的有标签示例数），相关的泛化界在某些线性设置中是最优的。
Jan, 2022
提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。
Jun, 2024