结构化低秩张量学习
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务学习等问题上具有较高的效率。
Apr, 2017
采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法,对学习大型固定秩非对称矩阵的线性回归模型进行了研究,推广了固定秩对称正定矩阵的一般结果,可用于机器学习算法的设计,数值实验表明,与现有算法竞争并提供了一种有效且灵活的算法,用于学习固定秩矩阵。
Sep, 2012
提出三种方法用于从部分观察中估计多维数组(张量)的 Tucker 分解,这些方法都可以自动估计因子数(秩),并采用凸优化进行求解,其中采用的主要技术是迹范数正则化,还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验,证明了该方法比传统方法预测性能更准确、更快,更可靠。
Oct, 2010
本研究考虑在张量完成问题中学习非负低秩张量,并使用对偶理论提出了一种新颖的分解方法,分解将非负约束与低秩约束解耦。所得问题是流形上的优化问题,并提出了 Riemannian 共轭梯度的变种来解决它。实验结果表明,所提出的方法优于许多最先进的张量完成算法。
May, 2023
本文提出了潜在的迹范数的变体,有助于学习非稀疏张量组合,并开发双重框架来解决低秩张量完成问题,探讨了优化问题的微分几何分析与优化框架,实验表明算法在多个应用程序的准确性和计算效率上具有显著效果。
Dec, 2017
本文提出了一种基于 Riemann manifold 预处理的新型张量完成问题求解方式,通过利用代价函数的最小二乘结构和 Tucker 分解的结构对称性,提出了一种新的 Riemann 度量或内积,使得可以在商流形上使用 Riemannian 优化框架来发展批次和在线设置的预处理非线性共轭梯度和随机梯度下降算法。在各种合成和真实世界数据集上的数值比较表明,所提出的算法在鲁棒性方面优于现有的其他算法。
May, 2016
本文提出一种通过交替固定秩优化与秩一更新来解决低秩矩阵迹范数最小化问题的算法,针对具有理曼结构的非线性搜索空间,利用有效的因子分解实现了迹范数在搜索空间的可微以及对偶间隙的数值计算可行,提出了一个拥有保证二次收敛速度的二阶信任域算法,并以低秩矩阵完成和多元线性回归问题为例说明了该算法的性能。
Dec, 2011
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
低秩建模在信号处理和机器学习中扮演着关键的角色,本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法,其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。
Feb, 2018
本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解,结果表明,该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量,而且实际数据的测试结果也有类似优势。
Dec, 2013