May, 2023

最优低秩矩阵完成：半定松弛和特征向量分离

HTML
PDF
TL;DR通过将低秩矩阵补全问题重新表述为在投影矩阵的非凸集上的凸问题，并实施一个可证明最优的分离分支限界方案，推导出一类新的收敛松弛方法。数值实验表明，相比现有的收敛松弛方法，我们的新型收敛松弛方法将最优性差距降低了两个数量级。此外，我们展示了我们的分离分支限界方案的性能，并展示了它在解决矩阵完成问题方面的优异表现。
发现论文，激发创造
  • 低秩矩阵补全的黎曼几何

    本文提出了特定于低秩矩阵补全问题的新黎曼几何，利用商空间自由度来调节搜索空间的度量，开发了基于梯度下降方案的优化工具，包括陡峭下降和共轭梯度，以及信赖域算法，实现了精确线性搜索，使算法在标准低秩矩阵补全实例上具有与最先进算法相当的性能。

    Nov, 2012

  • 交替最小化法实现低秩矩阵完成

    本文首次理论分析了交替极小化算法在矩阵完成和矩阵感知问题中的表现，证明了在满足某些条件下，该算法可以快速收敛到真实矩阵，同时具有更简单的分析方法。

    Dec, 2012

  • 非相干最优矩阵完成

    通过新的分析方法，本文提出了统一的不等式并改进了以往矩阵恢复方法的采样复杂度，同时探讨了低秩加稀疏矩阵分解问题的可解性。

    Oct, 2013

  • 有限样本下精确快速矩阵补全

    该论文提出了一种矩阵完成问题的快速迭代算法，该算法观测到 O(nr^5log^3 n) 的条目，具有确定的样本复杂度，可以解决低秩矩阵恢复的问题。

    Nov, 2014

  • 可证明高效的在线矩阵完成算法: 非凸随机梯度下降

    该研究提出了一种可证明，高效的在线算法，用于矩阵完成问题。该算法使用随机梯度下降，具有快速的更新时间，并可自然地用于离线设置。

    May, 2016

  • 非凸低秩问题中不存在虚假局部极小点：统一的几何分析

    发展了一种新框架，旨在捕捉一般非凸低秩矩阵问题的共同局面，包括矩阵感知，矩阵完成和鲁棒PCA，在优化风景线的现有分析的基础上进行了连接和简化，自然地导致了不对称矩阵完成和鲁棒PCA的新结果

    Apr, 2017

  • 矩阵补全的留一法：原始和对偶分析

    本文介绍了一种基于Leave-one-out方法的技巧用于解决低秩矩阵完成问题，进而通过对Projected Gradient Descent和nuclear norm minimization等算法进行分析，得到了这些算法的收敛性保证以及较为精细的界限。

    Mar, 2018

  • 噪声矩阵填充：通过非凸优化理解对凸松弛的统计保证

    本文研究了针对大规模低秩矩阵的部分和带噪声数据中的矩阵补全问题，采用凸松弛和Burer-Monteiro方法，成功地将凸松弛的实践与非凸方法的统计保证相结合，取得了近乎最优的估计误差。

    Feb, 2019

  • 来自一般确定性采样模式的矩阵补全

    该论文针对低秩矩阵完成算法的理论保证存在严格且近似的情况，可以应用于任何确定性采样计划。通过引入一个图形来解决观察条目的性能问题，论文从理论和实验角度论证了算法的成功性。

    Jun, 2023

  • 使用ReLU采样的对称矩阵补全

    对称半正定低秩矩阵完成问题进行研究，包括确定性依赖于矩阵元素的采样。首先通过实验证明该问题的全局最优点与梯度下降算法具有难以收敛的关系，但证明了在矩阵因子的秩较小且满足一定假设的情况下，非凸目标函数在一个低秩矩阵附近的商流形上是测地强凸的。此外，通过实验证明所提出的GD初始参数设计能够保证收敛到全局最小值。还进行广泛实验，比较了不同初始化、噪声水平、维度和秩对MC方法的收敛性和完成性能的影响。

    Jun, 2024