张量优化中的算法正则化：基于矩阵感知的提升方法

Oct, 2023

张量优化中的算法正则化：基于矩阵感知的提升方法

Algorithmic Regularization in Tensor Optimization: Towards a Lifted Approach in Matrix Sensing

Ziye Ma, Javad Lavaei, Somayeh Sojoudi

TL;DR通过梯度下降算法，我们探讨了诱导隐式正则化的作用，特别是在张量优化中的角色，尤其是在提升矩阵感知框架中。我们的发现强调了在与一阶方法相结合的矩阵感知中，张量参数化在实现全局最优性方面的重要性。

Abstract

gradient descent (GD) is crucial for generalization in machine learning models, as it induces implicit regularization, promoting compact representations. In this work, we examine the role of GD in inducing implic

gradient descent implicit regularization tensor optimization lifted matrix sensing global optimality

发现论文，激发创造

过参数化矩阵感知和二次激活神经网络中的算法正则化

本文研究了正定矩阵和一层神经网络的学习问题，通过梯度下降算法和二次激活函数的方式来实现隐式正则化，提出利用 UU 转置参数化正定矩阵并最小化平方损失函数的方法来恢复正定矩阵，并且证明在初始值的基础上，梯度下降算法大约在 O (sqrt (r)) 步长内能复原正定矩阵。

Dec, 2017

深度矩阵分解中的隐式正则化

本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。

May, 2019

小随机梯度下降的非对称矩阵感知

矩阵感知是从少量线性测量中重建低秩矩阵的问题，我们引入了连续微分方程，称其为 “扰动梯度流”，通过边界足够有界的累计误差，证明扰动梯度流迅速收敛到真实目标矩阵，从而提供了一种基于梯度下降的非对称矩阵感知的新证明方法。

Sep, 2023

通过缩放梯度下降可证明地加速病态低秩估计，即使过度参数化

本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

Oct, 2023

通过谱神经网络和非线性矩阵感知实现隐式正则化

通过对带有非线性激活函数的神经网络在矩阵感知问题中的隐性正则化现象的研究，我们引入了一种名为 “光谱神经网络（SNN）” 的网络架构，该架构在矩阵学习问题上具有更好的可解释性，通过数学保证和实证研究验证了其有效性。我们相信 SNN 架构在广泛的矩阵学习场景中具有潜在的适用性。

Feb, 2024

张量分解中的隐式正则化

采用动力学系统视角和贪心低秩张量搜索方法，我们得出了张量秩作为衡量复杂度和深度神经网络隐式正则化的方法，进而解释了深度学习中的隐式正则化和现实世界数据的性质对泛化的影响。

Feb, 2021

学习深度同质模型中的算法正则化：层次自动平衡

证明了通过梯度下降（以及正步长）学习多层同质函数时，该算法的梯度流可以有效地强制不同层之间的平方范数差异保持不变，从而自动平衡所有层的大小，由此可以深入研究利用一阶算法来优化学习深度模型的基本方法。

Jun, 2018

镜像下降统一控制隐式正则化方法

本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

Jun, 2023

线性神经网络中离散梯度动态的隐式正则化

本文研究了过参数化模型的离散梯度动态，并证明在使用适当超参数和初始化条件时，该动态可以学习降低秩的回归问题的解。

Apr, 2019

关于过度参数化矩阵感知的计算和统计复杂度

通过将分解矩阵 F 分解为单独的列空间来捕捉额外等级的影响，我们考虑使用分解梯度下降（FGD）方法来解决低秩矩阵感知问题，该问题将真实排名为空未知且超说明定。因此，我们提供了 FGD 在超参数矩阵感知问题的统计和计算复杂性的全面图景。

Jan, 2021