Dec, 2018

排名限制与低秩分解的临界点之间的等价性

PDF
TL;DR本文研究了低秩优化问题中矩阵变量秩约束和低秩分解优化方法的自然联系，证明了低秩分解目标函数的所有二阶稳定点对应于原问题上投影梯度下降算法的不动点，并统一了现有的优化保证，为某些情况下特定的问题提供了新结果。最后，将结果应用于矩阵逆问题。
low-rank optimizationmatrix factorizationprojected gradient descentoptimization guaranteesmatrix inverse problems
发现论文，激发创造
  • 投影梯度下降法的快速低秩估计：广义统计和算法保证

    通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

    Sep, 2015

  • 迹范数惩罚的低秩优化

    本文提出一种通过交替固定秩优化与秩一更新来解决低秩矩阵迹范数最小化问题的算法，针对具有理曼结构的非线性搜索空间，利用有效的因子分解实现了迹范数在搜索空间的可微以及对偶间隙的数值计算可行，提出了一个拥有保证二次收敛速度的二阶信任域算法，并以低秩矩阵完成和多元线性回归问题为例说明了该算法的性能。

    Dec, 2011

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014

  • 非凸优化遇见低秩矩阵分解：概述

    本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

    Sep, 2018

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 固定秩矩阵分解与黎曼低秩优化

    采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

    Sep, 2012

  • 结构化低秩张量学习

    提出了一种基于流形的张量低秩分解方法，利用 Riemannian 优化算法解决了存在结构约束和部分观测时的优化问题，并在非负约束和 Hankel 约束下得到了验证。

    May, 2023

  • 重新审视低秩矩阵分解的迹范数正则化

    本文中提出了一种迭代元算法，通过动态扩展参数空间，避免优化陷入局部最优解，从而更好地解决低秩矩阵因式分解问题及其应用。

    Jun, 2017

  • 通过非凸矩阵分解高效可靠地找到低秩解

    本研究提出了一种基于矩阵分解的优化方法 —— 双因式梯度下降算法（BFGD），在一定条件下可以实现局部次线性收敛以及全局线性收敛，为实现矩阵分解优化问题提供了一种有效的解决思路。

    Jun, 2016

  • 一类范约束矩阵问题的可证明 Burer-Monteiro 分解

    本文研究在具有强凸目标的低秩矩阵问题上使用投影梯度下降法。我们利用 Burer-Monteiro 分解方法隐式实现低秩性；这种分解方法引入了目标函数的非凸性。我们着重研究包括半正定（PSD）约束和特定矩阵范数约束在内的约束集。这些标准出现在量子态重构和相位恢复应用程序中。我们表明，非凸投影梯度下降在分解空间中偏爱局部线性收敛。我们通过一个新颖的下降引理建立我们的理论，该引理在不受限制的问题上最近的结果得到了非平凡的扩展。 这种算法称为投影因式梯度下降，简称 ProjFGD，并在量子状态重构和稀疏相位恢复应用程序方面表现出优异性能。

    Jun, 2016