深度矩阵分解的梯度下降算法：动力学和从低秩隐含的偏差

Nov, 2020

深度矩阵分解的梯度下降算法：动力学和从低秩隐含的偏差

Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank

Hung-Hsu Chou, Carsten Gieshoff, Johannes Maly, Holger Rauhut

TL;DR本文研究用于解决深度学习的隐含偏差问题的梯度下降算法动态收敛性，在线性网络和估计问题上，分析梯度下降中的 “有效秩” 动态变化，提出了矩阵低秩投影的有效秩，为理解深度学习奠定了基础。

Abstract

In deep learning, it is common to use more network parameters than training points. In such scenarioof over-parameterization, there are usually multiple networks that achieve zero training error so that thetraini

deep learning over-parameterization implicit bias gradient descent effective rank

发现论文，激发创造

深度矩阵分解中的隐式正则化

本篇论文探讨了深度矩阵分解在矩阵补全和传感中的梯度下降隐式正则化对低秩解的影响，并发现添加深度会增强对低秩解的倾向，结果表明标准正则化的数学符号语言可能不足以完全涵盖梯度下降隐式正则化的机制。

May, 2019

解决梯度下降隐式偏差的矩阵分解方法：贪婪的低秩学习

通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。

Dec, 2020

线性神经网络中离散梯度动态的隐式正则化

本文研究了过参数化模型的离散梯度动态，并证明在使用适当超参数和初始化条件时，该动态可以学习降低秩的回归问题的解。

Apr, 2019

深度学习的隐性偏见：渐增学习如何推动泛化

本文定义了增量学习动力学的概念并证明了在深度为多项式关系和初始化条件正确的情况下，神经网络可以展现出增量学习能力，且通过实验证明在使用深度学习模型中，梯度下降算法有助于寻找简单的模型解。

Sep, 2019

深度网络中的显式和隐式正则化结合，实现高效学习

通过研究隐性正则化的梯度轨迹，借鉴深度线性网络梯度下降隐式正则化向低秩解的偏好性，并提出显式惩罚来模拟这种偏好，从而使单层网络可以达到深度线性网络相同的低秩逼近性能。

Jun, 2023

梯度下降中的简约法则用于学习深度线性网络

研究了深线性网络的学习动态，发现梯度下降的内在偏差与节俭的解决方案有关，特别地，当数据具有低维结构时，只在每个权重矩阵的一个小不变子空间内进行学习，从而提高了效率和理解深度学习。

Jun, 2023

小随机梯度下降的非对称矩阵感知

矩阵感知是从少量线性测量中重建低秩矩阵的问题，我们引入了连续微分方程，称其为 “扰动梯度流”，通过边界足够有界的累计误差，证明扰动梯度流迅速收敛到真实目标矩阵，从而提供了一种基于梯度下降的非对称矩阵感知的新证明方法。

Sep, 2023

超参数神经网络的梯度下降动力学

本文通过 Lyapunov 分析，证明了使用梯度下降法训练过程中神经网络权重的动态会收敛到接近最小范数解的一个点，并通过实例表明这一结论的意义在于 GD 收敛于泛化性能好的预测函数，从而提供了 Arora 等人的普适性结果的另一证明。

May, 2021

隐式偏差对于对角线线性网络 SGD 的影响：随机性的证明性效益

本文研究了随机梯度下降在对角线线性网络上的动态规律，证明了它比梯度下降的解具有更好的泛化性能，并发现收敛速度控制偏见效应的大小，结果支持了结构化噪声可以引起更好泛化性能的理论结论。

Jun, 2021

张量分解中的隐式正则化

采用动力学系统视角和贪心低秩张量搜索方法，我们得出了张量秩作为衡量复杂度和深度神经网络隐式正则化的方法，进而解释了深度学习中的隐式正则化和现实世界数据的性质对泛化的影响。

Feb, 2021