Oct, 2023

多层低秩矩阵的因子拟合、排名分配和分区

PDF
TL;DR本文研究了多层低秩（MLR）矩阵，通过对一系列矩阵进行行列重排并分解成块对角形式，以低秩的因子形式表示。研究主要围绕通过在 Frobenius 范数下使用 MLR 矩阵拟合给定矩阵的问题展开，并提出了因子拟合、秩分配以及层次化行列划分等解决方法。同时，附带开源软件包实现了所提出的方法。
multilevel low rank matricesfrobenius normfactor fittingrank allocationhierarchical partition
发现论文，激发创造
  • 结构化低秩矩阵学习：算法与应用

    该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

    Apr, 2017

  • 通过随机低秩和低精度因式分解实现矩阵压缩

    我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。

    Oct, 2023

  • 低秩张量补全的并行矩阵分解

    本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解，结果表明，该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量，而且实际数据的测试结果也有类似优势。

    Dec, 2013

  • 语言模型压缩的低秩剪枝和分解

    利用网络剪枝与矩阵分解相结合的方式，提出了一种有效的预训练语言模型的模型压缩方法，通过新的初始化技术和训练过程优化技巧，能够在保持性能的同时实现更加高效的模型压缩。

    Jun, 2023

  • 结构化低秩矩阵分解：全局最优、算法和应用

    本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。 尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。

    Aug, 2017

  • 基于结构化低秩矩阵分解的多视角谱聚类

    本文提出了一种结构化的 LRR 方法，通过因式分解成低维数据聚类表示，对每个视图进行数据聚类结构的表征，并在 laplacian 正则化器的作用下保留了每个视图的灵活的本地流形结构和迭代多视图一致性策略，通过最小化优化过程中所有因子化潜在数据聚类表示之间的发散目标，其中每个视图的此类潜在表示用于调节其他视图的表示，以协调所有视图的一致性，并在真实世界的多视图数据集上进行了广泛的实验，表明其优于现有技术水平。

    Sep, 2017

  • 学习低秩模型混合物

    本文研究学习低秩模型的问题， 提出了一种三阶段元算法来解决未标记的异构数据和低复杂度结构带来的非凸性问题，并且可证明其稳定性。

    Sep, 2020

  • 增量式多分辨率矩阵分解算法

    本研究研究了多分辨率分析和矩阵分解之间的关系，提出了一种增量多分辨率矩阵分解算法，用于发现对于许多视觉问题的成功非常重要的对称矩阵的分层块结构，实验证明该算法可以用于改进网络架构以及其他视觉问题。

    May, 2017

  • 多分辨率低秩张量分解

    通过多分辨率低秩张量分解以层次化方式描述张量，这种方法能够利用不同层次分辨率上的结构，创造性地解决了高阶张量分解这一基础问题。

    May, 2024

  • 结构化低秩张量学习

    提出了一种基于流形的张量低秩分解方法，利用 Riemannian 优化算法解决了存在结构约束和部分观测时的优化问题，并在非负约束和 Hankel 约束下得到了验证。

    May, 2023