Dec, 2011

迹范数惩罚的低秩优化

PDF
TL;DR本文提出一种通过交替固定秩优化与秩一更新来解决低秩矩阵迹范数最小化问题的算法，针对具有理曼结构的非线性搜索空间，利用有效的因子分解实现了迹范数在搜索空间的可微以及对偶间隙的数值计算可行，提出了一个拥有保证二次收敛速度的二阶信任域算法，并以低秩矩阵完成和多元线性回归问题为例说明了该算法的性能。
low-rank trace norm minimizationfixed-rank optimizationrank-one updatesriemannian structurematrix completion
发现论文，激发创造
  • 重新审视低秩矩阵分解的迹范数正则化

    本文中提出了一种迭代元算法，通过动态扩展参数空间，避免优化陷入局部最优解，从而更好地解决低秩矩阵因式分解问题及其应用。

    Jun, 2017

  • 低秩张量补全的双重框架

    本文提出了潜在的迹范数的变体，有助于学习非稀疏张量组合，并开发双重框架来解决低秩张量完成问题，探讨了优化问题的微分几何分析与优化框架，实验表明算法在多个应用程序的准确性和计算效率上具有显著效果。

    Dec, 2017

  • 迹范数最小化的一致性

    本文研究了套索正则化与奇异值的和（trace norm）正则化在估计低秩矩阵中的应用，并扩展了套索的一些一致性结果以提供必要和充分的条件，以实现具有方块差异的迹范数最小化的秩一致性，同时提供了一种自适应版本，即使不满足非自适应版本的必要条件，也可以实现秩一致性。

    Oct, 2007

  • 通过凸优化估计低秩张量

    提出三种方法用于从部分观察中估计多维数组（张量）的 Tucker 分解，这些方法都可以自动估计因子数（秩），并采用凸优化进行求解，其中采用的主要技术是迹范数正则化，还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验，证明了该方法比传统方法预测性能更准确、更快，更可靠。

    Oct, 2010

  • 结构化低秩张量学习

    提出了一种基于流形的张量低秩分解方法，利用 Riemannian 优化算法解决了存在结构约束和部分观测时的优化问题，并在非负约束和 Hankel 约束下得到了验证。

    May, 2023

  • 固定秩矩阵分解与黎曼低秩优化

    采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

    Sep, 2012

  • 投影梯度下降法的快速低秩估计：广义统计和算法保证

    通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

    Sep, 2015

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 同时稀疏和低秩矩阵的估计

    本文介绍了一种罚矩阵估计过程，旨在同时具有稀疏和低秩的解决方案。我们引入了一个凸混合惩罚，同时涉及 l1 范数和迹范数。我们在链接预测问题中限制了广义误差，并开发了近端下降策略以有效解决优化问题，并在合成和真实数据集上评估了性能。

    Jun, 2012

  • 排名限制与低秩分解的临界点之间的等价性

    本文研究了低秩优化问题中矩阵变量秩约束和低秩分解优化方法的自然联系，证明了低秩分解目标函数的所有二阶稳定点对应于原问题上投影梯度下降算法的不动点，并统一了现有的优化保证，为某些情况下特定的问题提供了新结果。最后，将结果应用于矩阵逆问题。

    Dec, 2018