MMFeb, 2021

矩阵分解的黎曼视角

PDF
TL;DR本文研究了使用 Riemannian 几何的非凸矩阵分解方法来完成矩阵补全的问题，并且基于 Grassmann 流形提出了一种优化模型来表征优化问题的解空间，并探究了其几何形态。在完全观测的情况下，我们证明有一定区域使得代价函数的形式是地质凸的，在这个区域之外，所有的拐点都是严格的鞍点。最后，我们结合实验结果研究了部分观测的情况。
non-convex matrix factorizationmatrix completionriemannian geometrygrassmannian manifoldprincipal angles
发现论文，激发创造
  • 固定秩矩阵分解与黎曼低秩优化

    采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

    Sep, 2012

  • 非凸优化遇见低秩矩阵分解：概述

    本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

    Sep, 2018

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014

  • 非凸矩阵分解的对称性、鞍点和全局优化景观

    提出了一种用于研究具有对称结构的非凸优化景观的通用理论，基于不变群对目标函数的 Hessian 矩阵进行分析并应用于低秩矩阵分解问题，其中研究了所有驻点和全局最小值，将整个参数空间划分为三个区域，为常见迭代算法提供了强有力的全局收敛保证。

    Dec, 2016

  • 低秩矩阵补全的黎曼几何

    本文提出了特定于低秩矩阵补全问题的新黎曼几何，利用商空间自由度来调节搜索空间的度量，开发了基于梯度下降方案的优化工具，包括陡峭下降和共轭梯度，以及信赖域算法，实现了精确线性搜索，使算法在标准低秩矩阵补全实例上具有与最先进算法相当的性能。

    Nov, 2012

  • Grassmann 流形手册：基础几何与计算方面

    本文介绍了 Grassmann 流形的基本事实和公式，通过用矩阵算法解决应用中的问题，从表示子空间的正交投影器的方法和被视为正交群的商空间的方法揭示了 Grassmann 几何学。同时，还提出了一种改进的算法，用于计算 Grassmann 流形上的 Riemannian 对数映射，以及沿正交投影器视角的测地线的平行输运的方程和指标的导数。

    Nov, 2020

  • 非凸低秩问题中不存在虚假局部极小点：统一的几何分析

    发展了一种新框架，旨在捕捉一般非凸低秩矩阵问题的共同局面，包括矩阵感知，矩阵完成和鲁棒 PCA，在优化风景线的现有分析的基础上进行了连接和简化，自然地导致了不对称矩阵完成和鲁棒 PCA 的新结果

    Apr, 2017

  • 低秩优化的新视角

    本文介绍了一种基于矩阵透视函数的低秩问题的新方法，该方法通过特征向量的正交投影来获得矩阵上简单低秩集的凸包，从而获得了一种可靠的矩阵透视重构技术，并将其应用于多种低秩问题中，最终实现了半正定约束的优化。

    May, 2021

  • 黎曼随机优化方法避免严格鞍点

    对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

    Nov, 2023

  • 矩阵流形上的黎曼适应性随机梯度算法

    该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。

    Feb, 2019