矩阵流形上的 Riemannian 坐标下降算法

Jun, 2024

矩阵流形上的 Riemannian 坐标下降算法

Riemannian coordinate descent algorithms on matrix manifolds

Andi Han, Pratik Jawanpuria, Bamdev Mishra

TL;DR提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

Abstract

Many machine learning applications are naturally formulated as optimization problems on Riemannian manifolds. The main idea behind riemannian optimization is to maintain the feasibility of the variables while moving along a descent direction on the manifold. This results in updating al

riemannian optimization coordinate descent matrix manifolds cd algorithms efficiency

发现论文，激发创造

矩阵流形上的黎曼适应性随机梯度算法

该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。

Feb, 2019

黎曼流形上的随机梯度下降

本文介绍了一种扩展随机梯度下降算法来优化在 Riemannian 流形上定义的代价函数的方法，并通过四个例子展示了其潜在的应用，其中包括派生和数字测试的一种新型的协方差矩阵的聚集算法。

Nov, 2011

对称正定流形上低复杂度子空间下降

提出了一种低复杂度的黎曼子空间下降算法，通过利用选择的子空间，并将更新写为迭代点的 Cholesky 因子和一个稀疏矩阵的乘积，避免了矩阵幂运算和密集矩阵乘法，能够高效地计算黎曼梯度，特别适用于协方差估计等领域。

May, 2023

黎曼自适应优化方法

将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。

Oct, 2018

黎曼随机优化方法避免严格鞍点

对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

Nov, 2023

固定秩矩阵分解与黎曼低秩优化

采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

Sep, 2012

黎曼流形上的优化技术

本篇文章提出了新的方法，以解决施加在黎曼流形上的最优化问题，并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法，并分析了它们的收敛性质，其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法，分别表现出二次和超线性收敛性。此外，还给出了一些在某些黎曼流形上的实例以及数字实验的结果。

Jul, 2014

在双矩阵集合上进行流形优化：一个二阶几何方法

本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题，通过引入三个流形来实现求解，这些流形适用于具有多维概率分布函数的变量，且在高维度中具有优越性能。

Feb, 2018

坐标下降算法

本研究旨在介绍了坐标下降算法的基本原理、变体及其扩展，特别关注于在数据分析、机器学习等领域中的应用及并行执行的收敛性等。

Feb, 2015

坐标下降算法入门

该专著介绍了坐标下降算法，主要研究优化问题的解决方法，适用于机器学习、数据科学、工程等领域。

Sep, 2016