正则化非负标度不变低秩逼近模型的高效算法
本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术,该技术将已知的正则化器(如总变化和核范数)作为特定情况。 尽管所得到的优化问题是非凸的,但我们证明如果因素的大小足够大,在某些条件下,任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题,并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上,神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。
Aug, 2017
本文发展了使用分布式算法解决低秩矩阵加上压缩矩阵与稀疏矩阵乘积的分离任务,建立了分布式稀疏正则化秩最小化的算法框架,其中采用核范数和 l1 范数用作所需矩阵的秩和非零条目数的替代,使用交替方向乘法的分离算法来最小化经过采样和压缩的数据的秩和 nonzeros,从而解决了一些网络优化问题。
Mar, 2012
这篇论文提供了一个统一的框架,以建立在高维缩放下的正则化 M - 估计量的一致性和收敛速度,指出限制强凸性和可分解性是确保对应的正则化 M- 估计有快速收敛速度的两个关键特性,这些特性在许多经典案例中也是最优的
Oct, 2010
本文提出了一种在线算法,通过将最大规范化重构为等效的矩阵分解形式,可以在处理大型数据时保持基础组件的记忆,并对每个样本的基础组件和系数进行交替优化,证明了该算法的解序列渐近地收敛于期望损失函数的稳态点。
Jun, 2014
本文提出了一种基于截断的异性低秩正则化方法,通过使用功率方法逼近奇异值分解以提高计算效率,相比于传统核范数正则化方法,实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。
Dec, 2015
提出了一种通过闭合形式的阈值函数来生成稀疏感应正则化器,并应用于低秩张量补全问题中,基于交替方向乘子法的高效算法被开发,证明生成的序列是有界的并且任何极限点都是一个稳定点。在合成和实际的数据集上的实验结果表明,所提出的算法在恢复性能方面优于现有技术方法。
Oct, 2023
该论文提出了一种新的因子分解模型,它将低秩矩阵和线性子空间约束分离开来,从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明,该方法在标准 / 鲁棒 / 非负矩阵补全,Hankel 矩阵学习和多任务学习等问题上具有较高的效率。
Apr, 2017
介绍了一种在保证模型精度的情况下,同时降低深度学习中推理和训练成本,并通过基于神经网络条件数的模型稳健性表明低秩矩阵分解(low-rank matrix factorizations)容易导致模型鲁棒性的问题,提出了一种基于鲁棒低秩矩阵训练的算法,通过施加近似正交约束,保证了低秩表示与近似完整的模型之间精度。通过实验证明降低深度学习模型中推理和训练成本的同时,提高了模型的鲁棒性。
Jun, 2023
利用核范数正则化寻找结构化低秩矩阵的问题,我们采用线性映射来编码结构,并提出了一种更有效的方法,与同类方法相比,该方法在迭代次数和计算成本上都有所改善,并在随机系统实现和光谱压缩感知问题中表现出色。
Sep, 2015