具证明性的用于具有强相关性的非负矩阵分解的交替梯度下降算法

ICMLJun, 2017

具证明性的用于具有强相关性的非负矩阵分解的交替梯度下降算法

Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations

Yuanzhi Li, Yingyu Liang

TL;DR本文提出了基于交替梯度下降的算法，证明在强相关性存在的情况下能够恢复真实特征矩阵，并展示了其鲁棒性和优越性。

Abstract

non-negative matrix factorization is a basic tool for decomposing data into the feature and weight matrices under non-negativity constraints, and in practice is often solved in the alternating minimization framework. However, it is unclear whether such algorithms can recover the ground

non-negative matrix factorization alternating gradient descent correlation robustness ground-truth recovery

发现论文，激发创造

通过交替更新的非负矩阵分解恢复保证

本文提出了一种基于生成模型的非负矩阵分解算法，该算法采用 ReLU 对权重进行解码，可以在较宽松条件下恢复基本事实，并且能够容忍大于信号的无偏噪声，分析依赖于两个潜在函数之间的精心设计的耦合。

Nov, 2016

一种用于非负因子矩阵补全的交替方向算法

本文介绍了一种基于非负矩阵因式分解和补全问题的算法，可以通过同时利用非负性和低秩性来获得更好的结果，并通过基于交替方向增广 Lagrange 方法的算法来解决该问题。该算法优于现有算法，并可用于恢复不完整图像。

Mar, 2011

交替最小化法保证加权低秩逼近的恢复

本文提出一种简单的交替最小化算法，提供了带权重低秩矩阵恢复的可证明的等保障，并不需要关于噪声的假设，其误差随交替次数按指数级递减，初始矩阵可以由 SVD 或随机初始化得到，这是一种非常简单的算法，可以显着扩展矩阵补全的结果，特别是那些存在于现有研究工作中的二进制权重问题。

Feb, 2016

非负矩阵分解与 I - 散度交替最小化

本文研究非负矩阵因式分解（NMF）问题，提出了基于 I-divergence 的非负矩阵近似分解方法，使用类 EM 算法进行迭代，并探讨了其稳定性及与原型分析（Archetypal Analysis）的联系。

Dec, 2004

使用线性规划分解非负矩阵

本论文提出了一种新的基于线性规划的计算非负矩阵分解的方法，其中关键思想是使用数据中最显著的特征来表示其他特征，以实现低秩近似且扩展到更一般的噪声模型并具有高效可扩展性的算法。

Jun, 2012

矩阵分解的交替梯度下降收敛

本文研究了交替梯度下降算法应用于非对称矩阵分解目标函数的收敛性分析，证明了在充分迭代步数内，随机初始化下可以收敛到较优解，此结果可以为更广泛的非凸低秩矩阵分解问题的收敛分析提供帮助，并在实验中得到了验证。

May, 2023

非负矩阵分解的加速乘法更新和分层 ALS 算法

本文提出了一种加速处理非负矩阵分解问题的技术，通过在每个迭代步骤中精确分析计算成本，来保持算法的收敛性。这种加速技术可以应用于其他算法，并且已在图像和文本数据集上进行了实证研究。

Jul, 2011

非凸优化遇见低秩矩阵分解：概述

本文从统计模型的角度出发，系统地讨论低秩矩阵分解非凸优化的可靠解法，总结出了两种方法：1. 根据问题特征设计初始值，进行迭代求解；2. 利用全局凸性分析，无需初始值，直接求解。文章阐述了这些方法在各种场景下的应用并剖析了其理论基础。

Sep, 2018

连续半监督非负矩阵分解

本文介绍了如何使用非负矩阵分解方法无监督地自动检测语料库中的主题，并证明该方法可结合回归得出比先识别主题后进行回归更好的效果并有更好的可解释性。

Dec, 2022

对称矩阵分解的再思考：更一般且更优的聚类视角

本文提出了使用正则项优化的高效因式分解算法来提高聚类性能，同时进一步探索了使用不同约束条件解决对称矩阵分解问题的通用框架。

Sep, 2022