神经网络矩阵分解
本论文提出了一种新的基于线性规划的计算非负矩阵分解的方法，其中关键思想是使用数据中最显著的特征来表示其他特征，以实现低秩近似且扩展到更一般的噪声模型并具有高效可扩展性的算法。
Jun, 2012
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。 尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
本文提出了一种新的针对大规模网络嵌入学习的算法——NetSMF，可以有效地稀疏该密集矩阵，维持了嵌入学习的表征能力，相比已有方法，NetSMF在效率和有效性上都具有优势。
Jun, 2019
本文介绍了一种名为Decomposable-Net的深度神经网络压缩方法，通过奇异值分解和调整矩阵秩，允许灵活改变模型大小，而无需进行微调，能够在多种模型大小下提高模型性能。
Oct, 2019
本文提出了一种神经网络SymNMF-Net，用于解决Symmetric NMF优化算法在真实世界数据集聚类任务中出现的不足，并通过实验结果验证了该算法的有效性。
May, 2022
对称非负矩阵分解是一种在数据分析和机器学习中利用非负、低秩矩阵及其转置来近似表示对称矩阵的技术。为了设计更快速和更可扩展的对称非负矩阵分解算法，我们开发了两种随机化算法来计算。第一种算法利用随机矩阵草图计算初始低秩输入矩阵，并利用此输入迅速计算对称非负矩阵分解。第二种算法利用随机杠杆得分采样来近似解决受限最小二乘问题。实验证明，这两种方法在实践中都非常有效，通过将它们应用于大型真实数据集上的图聚类任务，我们展示了这些方法在保持解决方案质量的同时显著提速，无论是在大规模稠密问题还是大规模稀疏问题上。
Feb, 2024
基于GNMF和l2,0范数约束的非负矩阵分解方法，旨在提取具有稀疏特征、减轻噪音影响的数据低维结构，通过实验验证了算法的有效性和优越性。
Mar, 2024
基于非负矩阵分解（NMF）概念的IG-MDSR-NMF和IG-MDSR-RNMF模型，通过发现数据的低秩近似，处理高维数据，并确保模型的非负性约束。与其他九种降维算法相比，两个模型在五个常用数据集上表现出明显的优越性，通过保证数据的局部结构等方面验证了低维嵌入与原始数据的对比，同时还呈现了计算复杂性和收敛性分析，从而证明了这些模型的优势。
May, 2024
本文提出了一种新的双重稀疏分解方法，以解决神经网络模型体积大和复杂性高的问题。通过对权重矩阵进行稀疏化，该方法能在保持性能优于稠密模型的同时，大幅降低模型规模（例如，LLaMA2-13B模型可减少50%）。
Sep, 2024