本篇文章提出了新的方法,以解决施加在黎曼流形上的最优化问题,并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法,并分析了它们的收敛性质,其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法,分别表现出二次和超线性收敛性。此外,还给出了一些在某些黎曼流形上的实例以及数字实验的结果。
Jul, 2014
本文研究了流形优化问题,探讨了利用流形几何将约束优化问题转化为无约束问题、内在结构、最优性条件及数值算法,并展示了近期在流形优化理论方面的进展。
Jun, 2019
采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法,对学习大型固定秩非对称矩阵的线性回归模型进行了研究,推广了固定秩对称正定矩阵的一般结果,可用于机器学习算法的设计,数值实验表明,与现有算法竞争并提供了一种有效且灵活的算法,用于学习固定秩矩阵。
Sep, 2012
本文介绍了关于 Grassmann 和 Stiefel 曼陀罗上的一些新的数值线性代数算法,具有优秀的性能表现,并可用于对称特征值问题、非线性特征值问题、电子结构计算和信号处理等领域中出现的约束条件进行建模。
Jun, 1998
对于现代机器学习应用中的最小化问题,研究了基于提纯的方法族,证明了在渐进条件下,从任意初始状态出发,研究中的策略几乎总能避免严格鞍点 / 子流形,从而为在流形上使用梯度方法提供了重要的可靠性验证。
Nov, 2023
提出了在矩阵流形上开发计算效率高的坐标下降(CD)算法的一般框架,从而允许在每次迭代中仅更新少数变量,并符合流形约束。通过一阶目标函数的近似实现了更高效的变体,分析了它们的收敛性和复杂性,并在多个应用中验证了它们的有效性。
Jun, 2024
本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题,通过引入三个流形来实现求解,这些流形适用于具有多维概率分布函数的变量,且在高维度中具有优越性能。
Feb, 2018
在这篇论文中,我们介绍了度量约束 Eikonal 求解器,用于在流形上获取连续、可微的距离函数的表示。这些可微的表示的特性使得在流形上直接计算全局长度最小路径成为可能。我们展示了在不同流形上使用度量约束 Eikonal 求解器的应用,并展示了应用的实例。首先,我们展示了如何使用度量约束 Eikonal 求解器在流形上获取 Fréchet 均值,并利用高斯混合模型的定义和解析解来验证数值结果。其次,我们展示了如何利用得到的距离函数在流形上进行无监督聚类,而现有方法在计算上具有很高的复杂度。这项工作为流形上的距离计算开辟了新的可能性。
Apr, 2024
该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法,通过适应梯度的行和列子空间,使算法能够在保留流形丰富结构的同时进行优化,并证明了算法的收敛性和收敛速率。
Feb, 2019
提出了一个在黎曼流形上求解双层优化问题的框架,研究了超梯度估计策略,分析了算法的收敛性和复杂度,扩展了到随机双层优化和一般回退的应用。
Feb, 2024