固定秩矩阵分解与黎曼低秩优化

Sep, 2012

Fixed-rank matrix factorizations and Riemannian low-rank optimization

B. Mishra, G. Meyer, S. Bonnabel, R. Sepulchre

TL;DR采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

Abstract

Motivated by the problem of learning a linear regression model whose parameter is a large fixed-rank non-symmetric matrix, we consider the optimization of a smooth cost function defined on the set of fixed-rank matrices. We adopt the geometric framework of optimization on Riemannian qu

linear regression fixed-rank matrices riemannian quotient geometry gradient descent trust-region algorithms

发现论文，激发创造

低秩矩阵补全的黎曼几何

本文提出了特定于低秩矩阵补全问题的新黎曼几何，利用商空间自由度来调节搜索空间的度量，开发了基于梯度下降方案的优化工具，包括陡峭下降和共轭梯度，以及信赖域算法，实现了精确线性搜索，使算法在标准低秩矩阵补全实例上具有与最先进算法相当的性能。

Nov, 2012

固定秩正半定矩阵的回归：一种黎曼方法

本文主要研究关于使用梯度下降算法在一组定秩半正定矩阵的几何结构下建立回归模型，并且将该算法用于距离函数参数学习问题中，达到了不错的效果。

Jun, 2010

结构化低秩矩阵学习：算法与应用

该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

Apr, 2017

结构化低秩张量学习

提出了一种基于流形的张量低秩分解方法，利用 Riemannian 优化算法解决了存在结构约束和部分观测时的优化问题，并在非负约束和 Hankel 约束下得到了验证。

May, 2023

Riemannian 优化在低秩矩阵补全中的保证

研究嵌入低秩矩阵流形的黎曼优化方法在矩阵补全问题上的应用和收敛性，其中采样复杂度能进一步通过重新采样的黎曼梯度下降初始化方法减小，这取决于采样算子的像的非对称限制性同构性质和低秩矩阵流形的曲率。

Mar, 2016

低秩张量完成：一种黎曼流形预条件的方法

本文提出了一种基于 Riemann manifold 预处理的新型张量完成问题求解方式，通过利用代价函数的最小二乘结构和 Tucker 分解的结构对称性，提出了一种新的 Riemann 度量或内积，使得可以在商流形上使用 Riemannian 优化框架来发展批次和在线设置的预处理非线性共轭梯度和随机梯度下降算法。在各种合成和真实世界数据集上的数值比较表明，所提出的算法在鲁棒性方面优于现有的其他算法。

May, 2016

矩阵分解的黎曼视角

本文研究了使用 Riemannian 几何的非凸矩阵分解方法来完成矩阵补全的问题，并且基于 Grassmann 流形提出了一种优化模型来表征优化问题的解空间，并探究了其几何形态。在完全观测的情况下，我们证明有一定区域使得代价函数的形式是地质凸的，在这个区域之外，所有的拐点都是严格的鞍点。最后，我们结合实验结果研究了部分观测的情况。

Feb, 2021

投影梯度下降法的快速低秩估计：广义统计和算法保证

通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

Sep, 2015

一个用于半正定矩阵块对角约束优化的 Riemannian 低秩方法

提出了一种新的算法来解决优化问题，该算法针对平滑函数和受限 X 的正半定和对角块小标识矩阵的约束。该算法利用该问题的低秩解和黎曼流形上的光滑优化问题的秩约束版本的事实，并比较该算法与成熟软件的优势。

Jun, 2015

迹范数惩罚的低秩优化

本文提出一种通过交替固定秩优化与秩一更新来解决低秩矩阵迹范数最小化问题的算法，针对具有理曼结构的非线性搜索空间，利用有效的因子分解实现了迹范数在搜索空间的可微以及对偶间隙的数值计算可行，提出了一个拥有保证二次收敛速度的二阶信任域算法，并以低秩矩阵完成和多元线性回归问题为例说明了该算法的性能。

Dec, 2011