NIPSJun, 2014

大规模最大范数正则化在线优化

PDF
TL;DR本文提出了一种在线算法，通过将最大规范化重构为等效的矩阵分解形式，可以在处理大型数据时保持基础组件的记忆，并对每个样本的基础组件和系数进行交替优化，证明了该算法的解序列渐近地收敛于期望损失函数的稳态点。
max-norm regularizeronline algorithmmatrix decompositionmemory budgetlarge-scale setting
发现论文，激发创造
  • 结构化低秩矩阵分解：全局最优、算法和应用

    本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。 尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。

    Aug, 2017

  • 正则化非负标度不变低秩逼近模型的高效算法

    通过研究称为均匀正则化比例不变的更一般模型，本文证明了低秩逼近模型中的比例不变性带来了隐式正则化，具有意想不到的有益和有害效果，并根据这一观察加强了正则化函数在低秩逼近模型中的作用理解，以引导正则化超参数的选择，并设计平衡策略以提高优化算法的收敛速度。

    Mar, 2024

  • 重新审视低秩矩阵分解的迹范数正则化

    本文中提出了一种迭代元算法，通过动态扩展参数空间，避免优化陷入局部最优解，从而更好地解决低秩矩阵因式分解问题及其应用。

    Jun, 2017

  • 通过最大范数约束优化的矩阵完整性恢复

    本研究倡导并分析了一种基于 max-norm 的方法，在一般的采样模型下进行有噪声矩阵补全，该方法在解决低秩矩阵重构中具有最佳收敛速度，且面对不同采样分布显现出统一且稳健的近似恢复性能，同时也通过解决一阶算法来讨论该方法的计算有效性。

    Mar, 2013

  • 矩阵分解与稀疏编码的在线学习

    本文主要介绍了一种新的基于随机逼近的在线优化算法，用于解决以学习基础集合和将其适应特定数据为主的大规模矩阵分解问题，其在各种矩阵分解方面有良好的表现，并在自然图像和基因数据上进行的实验中具有速度和优化方面的先进性能。

    Aug, 2009

  • 非凸因式分解实现保证矩阵补全

    矩阵分解是一种常用的大规模矩阵补全方法，本文提出了一种理论保证，即在正则化条件下，优化算法可以收敛于矩阵分解的全局最优解，并恢复真实的低秩矩阵，其中的非对称矩阵分解的扰动分析是一项技术贡献。

    Nov, 2014

  • 迹范数惩罚的低秩优化

    本文提出一种通过交替固定秩优化与秩一更新来解决低秩矩阵迹范数最小化问题的算法，针对具有理曼结构的非线性搜索空间，利用有效的因子分解实现了迹范数在搜索空间的可微以及对偶间隙的数值计算可行，提出了一个拥有保证二次收敛速度的二阶信任域算法，并以低秩矩阵完成和多元线性回归问题为例说明了该算法的性能。

    Dec, 2011

  • 通过快速交替最小二乘法实现矩阵补全和低秩奇异值分解

    本文介绍一种 “softImpute” 算法，将 matrix-completion 问题的两种流行的方法：核范数规则化矩阵逼近和最大间隔矩阵分解结合，且在大矩阵逼近和补全方面表现更好。

    Oct, 2014

  • 高效的结构化矩阵秩最小化

    利用核范数正则化寻找结构化低秩矩阵的问题，我们采用线性映射来编码结构，并提出了一种更有效的方法，与同类方法相比，该方法在迭代次数和计算成本上都有所改善，并在随机系统实现和光谱压缩感知问题中表现出色。

    Sep, 2015

  • 快速低秩矩阵学习与非凸正则化

    本文提出了一种基于截断的异性低秩正则化方法，通过使用功率方法逼近奇异值分解以提高计算效率，相比于传统核范数正则化方法，实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。

    Dec, 2015