ICMLJun, 2017

压缩因式分解：快速而准确地低秩分解压缩感知数据

PDF
TL;DR本文考虑在通过随机投影压缩的数据上准确高效地计算低秩矩阵或张量分解的问题。我们研究了在压缩域内执行分解并从恢复 (压缩) 因子中重构原始高维因子的方法，在矩阵和张量设置中，我们建立了这种自然方法能够证明恢复原始因子的条件。我们对合成数据进行了实验，证实了压缩因式分解在真实世界的基因表达和脑电时间序列数据集中的实际适用性，并支持这些理论结果。
发现论文，激发创造
  • 通过随机低秩和低精度因式分解实现矩阵压缩

    我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。

    Oct, 2023

  • 利用矩阵分解对循环神经网络进行压缩

    基于训练后的秩选择方法 Rank-Tuning，结合训练适应性，我们的方法能够实现高压缩率而无性能损失或性能损失较小，数值实验结果表明，我们可以将循环神经网络压缩至最多 14 倍，最多相对性能降低 1.4%。

    Oct, 2023

  • 低秩张量补全的并行矩阵分解

    本研究提出了一个新的模型以及应用交替最小化算法和两种自适应秩调整策略同时对低秩张量进行低秩矩阵分解，结果表明，该算法可以在比其他方法更少的数据采样下恢复各种合成低秩张量，而且实际数据的测试结果也有类似优势。

    Dec, 2013

  • 通过矩阵分解实现张量分解

    本研究提出了一种新的 CP 张量分解方法，使用了随机投影算法降低了问题难度并在模拟和真实数据集上得到了更好的表现。

    Jan, 2015

  • 压缩非负矩阵分解快速准确

    本研究提出了借助结构化随机压缩技术，分别应用于传统非负矩阵分解和分离式非负矩阵分解，以应对数据结构日益复杂、数据集日益庞大的情况，结果表明这种压缩技术比传统方法更快速高效。

    May, 2015

  • 关于张量、稀疏性和非负因子分解

    本文研究了稀疏计数数据的多线性建模问题，提出了一个以泊松分布为假设的描述性张量分解模型和相应的算法和理论，并介绍了一种基于主导极小化方法的泊松张量分解算法，称为 CP-APR，并在几个数据集上的结果得到了验证。

    Dec, 2011

  • 结构化低秩矩阵学习：算法与应用

    该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

    Apr, 2017

  • 结构化低秩矩阵分解：全局最优、算法和应用

    本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。 尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。

    Aug, 2017

  • 基于低秩矩阵分解的文本分类在线嵌入压缩

    本研究提出一种深度学习模型的压缩方法，利用低秩矩阵因式分解来压缩自然语言处理中的字词嵌入层，经过实验证明可以在 90% 的压缩比下保持精度不受影响，并且在句子分类任务上表现优于其他方法，同时还引入了一种新的学习率调度算法 CALR，其在句子分类基准测试中表现出优越性。

    Nov, 2018

  • 稀疏矩阵分解

    该研究探讨如何将矩阵分解为多个稀疏矩阵，提出了一种在随机性和稀疏性假设下的算法，该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值，矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。

    Nov, 2013