正则化非负标度不变低秩逼近模型的高效算法
本文提出了 MahNMF 方法以及5种扩展,用于处理非负矩阵。利用两种算法,即秩一残留迭代(RRI)方法和Nesterov的平滑方法,有效地优化了MahNMF和其扩展。MahNMF方法在处理重尾部的拉普拉斯噪声时,能够很好地拟合数据,是一种鲁棒性较强的方法。
Jul, 2012
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
本文理论分析了使用 dropout 作为低秩正则化器以解决矩阵分解与逼近问题的表现,证明了基于伯努利随机变量的 dropout 等价于 MF 的完全确定性模型,其中因素用列的平方欧几里得范数积之和进行正则化,同时在变尺寸的矩阵分解情况下,使用 dropout 可以实现带(平方)核范数正则化的凸逼近问题的全局最小值。
Oct, 2017
本研究论文首次证明了初始化的随机梯度下降算法可以在多项式时间内收敛到具有对称和非对称特点的低秩矩阵分解问题的全局最小值,该证明基于新的对称化技术和定量扰动分析方法,并可以拓展到其他相关的非凸问题。
Jun, 2021
对称非负矩阵分解是一种在数据分析和机器学习中利用非负、低秩矩阵及其转置来近似表示对称矩阵的技术。为了设计更快速和更可扩展的对称非负矩阵分解算法,我们开发了两种随机化算法来计算。第一种算法利用随机矩阵草图计算初始低秩输入矩阵,并利用此输入迅速计算对称非负矩阵分解。第二种算法利用随机杠杆得分采样来近似解决受限最小二乘问题。实验证明,这两种方法在实践中都非常有效,通过将它们应用于大型真实数据集上的图聚类任务,我们展示了这些方法在保持解决方案质量的同时显著提速,无论是在大规模稠密问题还是大规模稀疏问题上。
Feb, 2024
本研究解决了从压缩测量中直接提取非负低秩分量的问题,填补了现有方法对原始数据的访问需求过高的空白。提出了一种灵活且有理论支持的框架,通过优化问题仅基于压缩数据,能够接近原始矩阵的非负分解,显示出在实际应用中的良好性能。
Sep, 2024
本文针对现有的非负矩阵分解算法提出了一种改进方法,解决了在应用权重范数和正则化时的局限性。通过将乘法更新重新表述为加法更新,避免了算法在零值上的停滞,显著提升了模型的表现。研究结果在鸡尾酒数据库的降维表示方面展现出良好的效果,具有重要的实际应用潜力。
Oct, 2024