在 Stiefel 流形上进行优化的约束保持更新方案框架

Jan, 2013

在 Stiefel 流形上进行优化的约束保持更新方案框架

A Framework of Constraint Preserving Update Schemes for Optimization on Stiefel Manifold

Bo Jiang, Yu-Hong Dai

TL;DR该研究提出了在 Stiefel 流形上优化问题的约束保持更新框架，并使用低复杂度的成本发现了一种新的更新方案。通过自适应非单调线性搜索确定该方法的全局收敛性，数值测试表明这种框架适用于最近的低秩相关矩阵问题，Kohn-Sham 总能量最小化及统计学中的特殊问题。

Abstract

This paper considers optimization problems on the stiefel manifold $X^{\mathsf{T}}X=I_p$, where $X\in \mathbb{R}^{n \times p}$ is the variable and $I_p$ is the $p$-by-$p$ identity matrix. A framework of constraint preserving update schemes is proposed by decomposing each feasible point

stiefel manifold constraint preserving update schemes barzilai-borwein-like method global convergence low-rank correlation matrix

发现论文，激发创造

随机广义 Stiefel 流形上的无回退优化

我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括 CCA、ICA 和 GEVP 在内的各种涉及广义正交性约束的机器学习应用中的有效性。

May, 2024

应用于排列同步的 Stiefel 流形上的稀疏二次优化

本研究针对在 Stiefel 流形上最大化（或最小化）二次目标函数的的优化问题，提出了一种基于正交迭代算法的稀疏矩阵优化方法，并将其应用于排列同步问题，取得了比之前更好的结果。

Sep, 2021

一个用于半正定矩阵块对角约束优化的 Riemannian 低秩方法

提出了一种新的算法来解决优化问题，该算法针对平滑函数和受限 X 的正半定和对角块小标识矩阵的约束。该算法利用该问题的低秩解和黎曼流形上的光滑优化问题的秩约束版本的事实，并比较该算法与成熟软件的优势。

Jun, 2015

约束下的黎曼流形优化简单算法

本文介绍了扩展现有算法，从欧几里得情况到黎曼情况的从等式和不等式约束中考虑代码优化问题，在高维下实现计算效率与准确度的提高，具有重要的实践应用。

Jan, 2019

固定秩矩阵分解与黎曼低秩优化

采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

Sep, 2012

矩阵流形上的 Riemannian 坐标下降算法

提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

Jun, 2024

用于矩阵完成的 Grassman 流形梯度下降算法

本文描述了一种名为 OptSpace 的有效算法，基于奇异值分解和局部流形优化，用于解决从其子集中重构低秩矩阵的问题。该算法可以从很小的子集重构低秩矩阵并且对噪声具有鲁棒性，并在实际协同过滤数据集上表现良好。

Oct, 2009

低秩张量完成：一种黎曼流形预条件的方法

本文提出了一种基于 Riemann manifold 预处理的新型张量完成问题求解方式，通过利用代价函数的最小二乘结构和 Tucker 分解的结构对称性，提出了一种新的 Riemann 度量或内积，使得可以在商流形上使用 Riemannian 优化框架来发展批次和在线设置的预处理非线性共轭梯度和随机梯度下降算法。在各种合成和真实世界数据集上的数值比较表明，所提出的算法在鲁棒性方面优于现有的其他算法。

May, 2016

通过 Cayley 变换在 Stiefel 流形上实现高效的黎曼最优化

本研究通过对参数进行正交约束优化，提出了两种算法 - Cayley SGD 和 Cayley ADAM，达到节省运行时间的效果并实现了 CNN 的更快收敛率与更少训练时间。

Feb, 2020

对称正定流形上低复杂度子空间下降

提出了一种低复杂度的黎曼子空间下降算法，通过利用选择的子空间，并将更新写为迭代点的 Cholesky 因子和一个稀疏矩阵的乘积，避免了矩阵幂运算和密集矩阵乘法，能够高效地计算黎曼梯度，特别适用于协方差估计等领域。

May, 2023