学习矩阵的正则化技术

Oct, 2009

Regularization Techniques for Learning with Matrices

Sham M. Kakade, Shai Shalev-Shwartz, Ambuj Tewari

TL;DR本文研究了一种将参数组织成矩阵的学习方式，采用矩阵范数来适当地规范参数以实现更复杂的先验知识。基于已知的对偶事实，即函数相对于某些范数是强凸的，当且仅当其共轭函数相对于对偶范数是强平滑的，我们的方法是基于统计学性质来确定合适的正则化函数。通过将这个框架应用于多任务学习、多类学习和核学习中，并推导出新的广义化和失误上限，我们展示了这个方法的潜力。

Abstract

There is growing body of learning problems for which it is natural to organize the parameters into matrix, so as to appropriately regularize the parameters under some matrix norm (in order to impose some more sophisticated prior knowledge). This work describes and analyzes a systematic method for constructing such matrix-based, regularization methods. In par

matrix-based regularization methods statistical properties conjugate function multi-task learning kernel learning

发现论文，激发创造

深度学习中的隐式正则化可能无法通过规范解释

通过矩阵分解问题的数学建模，探究梯度优化算法所诱导的隐含正则化问题，研究发现规范（norms）不能完全解释矩阵分解问题中的正则化问题，通过实验证明排名（rank）是更有用的解释方式以及有可能解释深度学习中的泛化问题。

May, 2020

重新审视低秩矩阵分解的迹范数正则化

本文中提出了一种迭代元算法，通过动态扩展参数空间，避免优化陷入局部最优解，从而更好地解决低秩矩阵因式分解问题及其应用。

Jun, 2017

逆问题的现代正则化方法

本文综述了现代非线性正则化方法的发展，包括变分方法、图像处理和学习理论等，重点讨论其分析、应用和未来研究问题。

Jan, 2018

矩阵分解中的隐式正则化

通过使用矩阵因式分解的梯度下降法来优化欠定二次目标函数时，对步长采用合适大小以及初始值足够接近原点进行隐式正则化会使得梯度下降法收敛到最小核范数解，这一结论在实证和理论方面都得到了支持。

May, 2017

深度矩阵分解中的隐式正则化

本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。

May, 2019

结构化低秩矩阵分解：全局最优、算法和应用

本文研究了一种适用于大规模数据集且通过使用特定形式的正则化来捕获因素中的额外结构的矩阵分解技术，该技术将已知的正则化器（如总变化和核范数）作为特定情况。尽管所得到的优化问题是非凸的，但我们证明如果因素的大小足够大，在某些条件下，任何因素的局部最小值都可以得到全局最小值。我们还提供了一些实用的算法来解决矩阵分解问题，并导出了给定近似解的距离与全局最优解之间的距离范围。在大数据集上，神经钙成像视频分割和高光谱压缩恢复的示例显示了我们的方法的优势。

Aug, 2017

快速低秩矩阵学习与非凸正则化

本文提出了一种基于截断的异性低秩正则化方法，通过使用功率方法逼近奇异值分解以提高计算效率，相比于传统核范数正则化方法，实验结果表明所提出的方法在矩阵补全领域有更快的速度和更高的准确率。

Dec, 2015

基于梯度的双层优化用于多罚项岭回归的矩阵微分计算

本研究探讨了线性回归中带有 L2 正则化的问题，每个输入变量都与一个不同的正则化超参数相关联。通过基于梯度的方法优化这些超参数，通过计算交叉验证准则相对于正则化超参数的梯度，使用矩阵微分学进行解析计算。此外，我们引入了两种针对稀疏模型学习问题的策略，旨在减少过度拟合验证数据的风险。数值示例表明，我们的多超参数正则化方法胜过 LASSO、Ridge 和 Elastic Net 回归。此外，与自动微分相比，梯度的解析计算在计算时间方面更加高效，特别是在处理大量输入变量时。还介绍了应用于过参数化线性参数变化模型的情况。

Nov, 2023

过参数化矩阵感知和二次激活神经网络中的算法正则化

本文研究了正定矩阵和一层神经网络的学习问题，通过梯度下降算法和二次激活函数的方式来实现隐式正则化，提出利用 UU 转置参数化正定矩阵并最小化平方损失函数的方法来恢复正定矩阵，并且证明在初始值的基础上，梯度下降算法大约在 O (sqrt (r)) 步长内能复原正定矩阵。

Dec, 2017

结构化低秩矩阵学习：算法与应用

该论文提出了一种新的因子分解模型，它将低秩矩阵和线性子空间约束分离开来，从而使得优化问题在 Riemannian spectrahedron 流形上得以求解。实验证明，该方法在标准 / 鲁棒 / 非负矩阵补全，Hankel 矩阵学习和多任务学习等问题上具有较高的效率。

Apr, 2017