快速低秩矩阵学习与非凸正则化

Dec, 2015

Fast Low-Rank Matrix Learning with Nonconvex Regularization

Quanming Yao, James T. Kwok, Wenliang Zhong

TL;DR本文提出了一种基于截断的异性低秩正则化方法，通过使用功率方法逼近奇异值分解以提高计算效率，相比于传统核范数正则化方法，实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。

Abstract

low-rank modeling has a lot of important applications in machine learning, computer vision and social network analysis. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better recovery performance. Howev

low-rank modeling nonconvex low-rank regularizers proximal gradient algorithm power method matrix completion

发现论文，激发创造

通过新颖的稀疏感应正则化方法进行低秩张量补全

提出了一种通过闭合形式的阈值函数来生成稀疏感应正则化器，并应用于低秩张量补全问题中，基于交替方向乘子法的高效算法被开发，证明生成的序列是有界的并且任何极限点都是一个稳定点。在合成和实际的数据集上的实验结果表明，所提出的算法在恢复性能方面优于现有技术方法。

Oct, 2023

结构化低秩矩阵分解：全局最优、算法和应用

本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。

Aug, 2017

低秩矩阵优化的非凸几何

本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

Nov, 2016

重新审视低秩矩阵分解的迹范数正则化

本文中提出了一种迭代元算法，通过动态扩展参数空间，避免优化陷入局部最优解，从而更好地解决低秩矩阵因式分解问题及其应用。

Jun, 2017

高效的结构化矩阵秩最小化

利用核范数正则化寻找结构化低秩矩阵的问题，我们采用线性映射来编码结构，并提出了一种更有效的方法，与同类方法相比，该方法在迭代次数和计算成本上都有所改善，并在随机系统实现和光谱压缩感知问题中表现出色。

Sep, 2015

投影梯度下降法的快速低秩估计：广义统计和算法保证

通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

Sep, 2015

通过保证低秩矩阵估计对大数据的结构进行利用

低秩建模在信号处理和机器学习中扮演着关键的角色，本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法，其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。

Feb, 2018

稀疏 SVM 排序中的非凸正则化特征选择

探究如何在学习排名中将特征选择集成入学习过程中，并且提出了一种使用 SVM 和稀疏正则化术语进行特征选择的通用框架。

Jul, 2015

矩阵补全的奇异值阈值算法

本文介绍了一种新的算法，用于近似矩阵和满足一组凸约束条件的所有矩阵中具有最小核范数的矩阵。该算法可在低阶矩阵完成问题上使用，具有快速计算的特点，通过少量存储空间实现低计算代价。

Oct, 2008

严格低秩约束优化 -- 一种渐进 $O (rac {1}{t^2})$ 方法

我们研究了一类具有秩规范化的非凸非光滑问题，以促进最优解的稀疏性。我们提出了应用近端梯度下降方法来解决该问题，并通过一种新型的支持集投影操作加速过程，作用于中间更新的奇异值。我们展示了我们的算法能够达到收敛速度为 $O (rac {1}{t^2})$，这与 Nesterov 有关于光滑凸问题的一阶方法的最优收敛速度完全相同。可以期望严格的稀疏性，且在每次更新中奇异值的支持集是单调收缩的，这在基于动量的算法中是新颖的。

Jul, 2023