采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法,对学习大型固定秩非对称矩阵的线性回归模型进行了研究,推广了固定秩对称正定矩阵的一般结果,可用于机器学习算法的设计,数值实验表明,与现有算法竞争并提供了一种有效且灵活的算法,用于学习固定秩矩阵。
Sep, 2012
多分辨率矩阵分解 (MMF) 通过优化元启发式方法、进化算法、Stiefel 流形优化和反向传播误差,在建模具有复杂多尺度或分层结构的图形时,提出了一种 “可学习” 的 MMF 版本,产生的小波基础性能优于现有的 MMF 算法,并在图形上的标准学习任务中具有相当的性能。
Jun, 2024
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务学习等问题上具有较高的效率。
Apr, 2017
本文提出了一种凸分解机方法(CFM),它是广泛使用的分解机(FM)的一个凸变体。该方法可以找到全局最优解,并已在应用于多视角矩阵分解和张量完成问题时获得成功。
Jul, 2015
本论文提出了一种新的基于线性规划的计算非负矩阵分解的方法,其中关键思想是使用数据中最显著的特征来表示其他特征,以实现低秩近似且扩展到更一般的噪声模型并具有高效可扩展性的算法。
Jun, 2012
利用监督矩阵分解 (SMF) 方法,在高维数据中学习低秩潜在因素,并提供可解释性、数据重构性和类别区分性特征,通过一个新颖框架将 SMF 提升为一个结合因子空间的低秩矩阵估计问题,并提出了一个有效算法,在各种癌症中成功识别了已知的与癌症相关的基因组。
Nov, 2023
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
本文提出了 MahNMF 方法以及 5 种扩展,用于处理非负矩阵。利用两种算法,即秩一残留迭代(RRI)方法和 Nesterov 的平滑方法,有效地优化了 MahNMF 和其扩展。MahNMF 方法在处理重尾部的拉普拉斯噪声时,能够很好地拟合数据,是一种鲁棒性较强的方法。
Jul, 2012
本文提出了两种采用混合维度嵌入的矩阵分解模型,可以采用交替最小二乘法以大规模并行的方式进行优化,并针对用户和项目的流行度偏斜实现了是用稀疏,混合维度或共享嵌入降低参数数量和过度拟合的研究。
May, 2022
矩阵分解在机器学习和数据挖掘中有广泛应用,包括协同过滤推荐系统、降维、数据可视化和社区检测。本文基于热带代数和几何在机器学习领域的最新成果,研究了两个涉及矩阵分解的问题。我们提出了一种改进的算法来解决热带矩阵分解问题,并通过将传统矩阵乘法与热带乘法相结合来探讨了近似分解的第二种形式。我们还展示了新算法的有效性并在推荐系统上进行了应用,并取得了有希望的结果。
Sep, 2023