Mar, 2024

数据拟合的有用简化表示

PDF
TL;DR无需二阶导数信息的最小化问题，通过估计 Hessian 矩阵的方法可以非常有效。然而，传统技术产生的密集矩阵对于大型问题来说是不可行的。有限内存紧凑表示以低秩表示方式表达密集数组，并成为大型确定性问题软件实现的最新技术。我们开发了一种新的紧凑表示方法，通过选择向量进行参数化，并对特定选择的现有公式进行减少。我们展示了紧凑表示在大量特征值计算、张量分解和非线性回归中的有效性。
发现论文，激发创造
  • 深度神经网络的紧凑且计算效率高的表示

    本研究提出了新的矩阵格式，其内存和算法复杂性受矩阵熵的隐式限制，可以更有效地进行神经网络的推理操作，达到多达 42 倍的压缩比、5 倍的加速比和 90 倍的能源节约。

    May, 2018

  • 层次张量表示中的张量补全

    本书章节考虑针对分层张量格式的迭代硬阈值方案，利用曲面优化中的回退映射将前有低秩张量的流形的切空间映回这个流形，并提供基于测量映射的张量版本的受限等距性质（TRIP）的第一部分收敛结果。此外，提供了保证加权张量秩的 TRIP 作为高斯测量映射的测量数量的估计。

    Apr, 2014

  • 民主代表制

    文章分析了求解一个凸优化问题来实现最大范数的最小化以及在保持欠定的线性方程组一致性的约束下的基本特性，并提出了基于 $\ell_{\infty}$- 范数减小动态范围的新算法并演示了其在 DVB-T2 广播系统中的有效性。

    Jan, 2014

  • 矩阵的灵活多层稀疏逼近及其应用

    该论文介绍了一种算法，旨在通过将相应矩阵近似因式分解为少量稀疏因子，降低应用高维线性算子的复杂度，该方法依赖于近期非凸优化的进展，首先进行详细的解释和分析，然后在字典学习图像去噪和逆问题中展示实验效果。

    Jun, 2015

  • 通过保证低秩矩阵估计对大数据的结构进行利用

    低秩建模在信号处理和机器学习中扮演着关键的角色，本文综述了利用凸和非凸方法对低秩矩阵估计进行计算上高效可证的方法，其中包括对低维子空间和流形的适当利用及其对计算和存储成本的显著降低。

    Feb, 2018

  • 最小化 FLOPs 来学习高效稀疏表示

    提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。

    Apr, 2020

  • 凸稀疏矩阵分解

    本文介绍了用于稀疏信号分解的词典学习的凸优化方法，通过引入凸排名降低项替代字典大小的上限来获得凸性。在一系列的合成示例中，分类比较了凸优化方法和非凸优化方法的估计能力，结果表明，虽然凸优化方法只有一个局部最小值，但在某些情况下，其性能可能不如非凸优化方法的局部最小值。

    Dec, 2008

  • 高效的结构化矩阵秩最小化

    利用核范数正则化寻找结构化低秩矩阵的问题，我们采用线性映射来编码结构，并提出了一种更有效的方法，与同类方法相比，该方法在迭代次数和计算成本上都有所改善，并在随机系统实现和光谱压缩感知问题中表现出色。

    Sep, 2015

  • 稀疏精度矩阵的压缩恢复

    本研究旨在通过对数据的草图进行估计，从而学习一个能够准确解释数据的稀疏图模型，采用了压缩视角和基于图形套索的迭代算法，同时研究了通过合成数据集进行性能对比的可能性。

    Nov, 2023

  • 通过凸优化估计低秩张量

    提出三种方法用于从部分观察中估计多维数组（张量）的 Tucker 分解，这些方法都可以自动估计因子数（秩），并采用凸优化进行求解，其中采用的主要技术是迹范数正则化，还提出了简单的启发式方法以提高因子分解的可解释性。通过合成和真实数据集上的数值实验，证明了该方法比传统方法预测性能更准确、更快，更可靠。

    Oct, 2010