Jun, 2024

使用ReLU采样的对称矩阵补全

HTML
PDF
TL;DR对称半正定低秩矩阵完成问题进行研究，包括确定性依赖于矩阵元素的采样。首先通过实验证明该问题的全局最优点与梯度下降算法具有难以收敛的关系，但证明了在矩阵因子的秩较小且满足一定假设的情况下，非凸目标函数在一个低秩矩阵附近的商流形上是测地强凸的。此外，通过实验证明所提出的GD初始参数设计能够保证收敛到全局最小值。还进行广泛实验，比较了不同初始化、噪声水平、维度和秩对MC方法的收敛性和完成性能的影响。
发现论文，激发创造
  • 通用矩阵补全

    提出通过使用具有大切比雪夫谱差的二分图边集进行矩阵完成的广泛采样方案，可以精确地恢复所有满足一定不相干性条件的低秩矩阵，而只需O（nr^2）个随机样本条目。同时改进了已有的矩阵完成算法和核范数方法的分析，与之相比，其样本复杂度为O（nrlogn）

    Feb, 2014

  • 有限样本下精确快速矩阵补全

    该论文提出了一种矩阵完成问题的快速迭代算法，该算法观测到 O(nr^5log^3 n) 的条目，具有确定的样本复杂度，可以解决低秩矩阵恢复的问题。

    Nov, 2014

  • 近乎最优的鲁棒矩阵完成

    本文提出了一种简单的投影梯度下降方法来估计低秩矩阵，用于解决鲁棒矩阵完成问题，并且包括清除一些受损条目的步骤，并在低秩矩阵完成问题中获得了最优观测次数和最优破坏次数的解决方法。同时，本文的结果还意味着，对于低秩矩阵完成问题的时间复杂度界限，取得了重要的改进。最后，通过将结果应用于鲁棒PCA问题，得到了高效的解决方案

    Jun, 2016

  • 多阶段 Procrustes 流算法加速高效归纳矩阵补全

    本文提出了一种基于梯度的非凸优化算法，用于解决归纳矩阵补全问题，该算法收敛于真实矩阵，具有线性样本复杂度和对数环境维度。该算法的实验结果表明其有效性。

    Mar, 2018

  • 非凸矩形矩阵完整性的无 L2,∞ 正则化梯度下降

    本文介绍了如何通过改进梯度下降的技术和方法，将矩阵填充的采样率由O(poly(条件数)*mu^3*r^3*log^3n/n)降低至O(mu^2*r^2*条件数^14*log(n)/n)，并且这些技术和方法在改善其他相关问题的分析方面也具有潜在的用处。

    Jan, 2019

  • 低噪声情况下归纳矩阵补全的泛化界

    本文研究了在低噪声环境下使用iid子高斯噪声的归纳矩阵填充问题（带侧面信息的矩阵填充），首次获得了普适性界限，并呈现出标准差与零误差恢复情况下的规模趋近，结果表明：在样本大小趋近于无穷大时，噪声即使存在也会趋近于零，对于侧面信息的固定维度而言，它们只有对矩阵大小的对数依赖性。

    Dec, 2022

  • 最优低秩矩阵完成：半定松弛和特征向量分离

    通过将低秩矩阵补全问题重新表述为在投影矩阵的非凸集上的凸问题，并实施一个可证明最优的分离分支限界方案，推导出一类新的收敛松弛方法。数值实验表明，相比现有的收敛松弛方法，我们的新型收敛松弛方法将最优性差距降低了两个数量级。此外，我们展示了我们的分离分支限界方案的性能，并展示了它在解决矩阵完成问题方面的优异表现。

    May, 2023

  • 来自一般确定性采样模式的矩阵补全

    该论文针对低秩矩阵完成算法的理论保证存在严格且近似的情况，可以应用于任何确定性采样计划。通过引入一个图形来解决观察条目的性能问题，论文从理论和实验角度论证了算法的成功性。

    Jun, 2023

  • 小初始化的梯度下降收敛性用于非正则化矩阵补全

    对称矩阵完成问题的研究表明，使用小初始化的梯度下降算法可以无需显式正则化地收敛到真实解，即使在过参数优化情况下也成立；同时，初始点越小，解的精确度越高。针对该问题的全局收敛性分析借助了一种新颖的弱耦合一致性评估方法，拓展了经典的留一法分析范畴。

    Feb, 2024

  • 高度不均匀采样下低秩矩阵补全的逐项界限

    低秩矩阵补全问题关注使用稀疏观测的一组观测条目来估计矩阵中未观测的条目。我们考虑非均匀设置，其中观测条目根据高度变化的概率进行采样，可能具有不同的渐近尺度。我们证明了在结构化采样概率下，使用较小的子矩阵而不是整个矩阵上运行估计算法通常更好，有时是最优的。特别地，在某些条件下，我们证明了适用于每个条目的错误上界，这些错误上界与最小化下界相匹配。我们提供了数值实验证实了我们的理论发现。

    Feb, 2024