（深层）线性神经网络中的权重波动与逆方差平坦关系的推导

Nov, 2023

（深层）线性神经网络中的权重波动与逆方差平坦关系的推导

Weight fluctuations in (deep) linear neural networks and a derivation of the inverse-variance flatness relation

Markus Gross, Arne P. Raulf, Christoph Räth

TL;DR我们研究了合成高斯数据中单层和双层线性神经网络在随机梯度下降（SGD）的持续（末期）训练阶段。我们发现，在过度采样不足的弱过采样范围内，单层网络的噪声协方差矩阵的谱明显偏离 Hessian，可归因于 SGD 动力学的详细平衡破坏。在这种情况下，权重波动一般是各向异性的，但经历各向同性的损失。对于双层网络，我们获得了各层权重的随机动力学，并分析了相关的稳定的协方差。我们将层间耦合确定为权重波动的新源头。与单层情况不同，权重波动经历了各向异性的损失，其平坦度与波动方差成反比。因此，我们在深度线性网络模型中提供了最近观察到的逆方差 - 平坦度关系的分析推导。

Abstract

We investigate the stationary (late-time) training regime of single- and two-layer linear neural networks within the continuum limit of stochastic gradient descent (SGD) for synthetic Gaussian data. In the case of a single-layer network in the weakly oversampled regime, the spectrum of

stationary training linear neural networks stochastic gradient descent anisotropic weight fluctuations inverse variance-flatness relation

发现论文，激发创造

基于时代的随机梯度下降中的相关噪声：对权重方差的影响

本文研究了离散时间下具有动量的 SGD 的时域白噪声的自相关，并研究了 epoch-based 噪声相关性对于 SGD 的影响，结果表明对于大于超参数相关值的曲率方向，可以恢复无关噪声的结果，但对于相对平坦的方向，权重方差显著降低。

Jun, 2023

神经网络权重不会收敛到稳态点：一个不变测度的角度

通过数值证据和动力系统的遍历理论，在大规模神经网络训练中解释了权重不收敛于稳态点但损失函数值停止下降和训练损失稳定的现象，探讨了一种新的基于动力系统的权重分布演化方式的优化理解方法。

Oct, 2021

信号处理 meets SGD：从动量到滤波

本文介绍了一种基于降低历史梯度方差的新型优化方法，通过引入自适应权重来增强 SGD 的一阶时刻估计，在深度学习模型训练过程中动态改变权重以适应梯度方差的变化，实验结果表明该方法能够达到与现有优化方法相媲美的性能。

Nov, 2023

深度网络中的特征学习与泛化及正交权重

完全连接的深度神经网络，其权重从独立的高斯分布初始化，可以调整到临界状态，阻止信号在网络中传播时呈指数增长或衰减。然而，这种网络仍然会表现出与网络深度线性增长的波动，这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正切激活函数以及从正交矩阵集合初始化权重，其相应的预激活波动与深度无关，以逆宽度为导数阶主导。此外，我们通过数值实验表明，初始化时在逆宽度方向上控制可观测量的演变的神经切向核（NTK）及其后代涉及的相关者的饱和深度约为 20，而不像高斯初始化的情况下无限增长。我们推测这种结构保留了有限宽度特征学习的同时，降低了整体噪声，从而改善了泛化能力和训练速度。通过将 NTK 的经验测量与深度非线性正交网络在 MNIST 和 CIFAR-10 分类任务上的卓越性能联系起来，我们提供了一些实验上的证明。

Oct, 2023

有限学习率随机梯度下降的噪声与波动

本文探究了随机梯度下降（SGD）及其变种在非消失学习率模式下的基本性质，特别是推导了离散时间 SGD 在二次损失函数中的稳态分布，讨论了其影响，并考虑了 SGD 变体的逼近误差、小批量噪音效应、最优贝叶斯推断、从尖锐最小值的逃逸率和几种包括阻尼牛顿法、自然梯度下降和 Adam 的二阶方法的稳态协方差等应用。

Dec, 2020

具有连接切线核的尺度不变贝叶斯神经网络

该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

Sep, 2022

随机梯度下降中的重尾现象

本文阐述了随机梯度下降（SGD）在深度学习中的泛化性能与最小值的浅奥关系，并通过线性回归等简单问题分析证明了参数选择会对算法的收敛率及概率分布产生影响。

Jun, 2020

共享权重的宽神经网络的缩放极限：高斯过程行为、梯度独立性和神经切向核导出

本研究结合随机神经网络和张量程序的概念，研究了神经网络的收敛性和梯度动态性，在多种不同体系下，从而表明了该框架不仅可以引导更强的高斯过程的设计，而且还可以深入理解现代架构中的 SGD 动态。

Feb, 2019

学习网络的权重动态

使用局部稳定性分析的数学框架，我们研究了前馈神经网络学习动力学的深层理解，推导了三层神经网络在学习回归任务时的切线算子方程，结果适用于任意节点数和任意激活函数的选择。我们通过数值方法应用这些结果于网络学习回归任务中，调查了稳定性指标与最终训练损失之间的关系。虽然具体结果会因初始条件和激活函数的不同而有所变化，我们证明了通过监测训练过程中的有限时间 Lyapunov 指数或协变 Lyapunov 向量，可以预测最终的训练损失。

Apr, 2024

SGD 的极限动力学：修改的损失，相空间振荡和反常扩散

研究 SGD 训练的深度神经网络在性能收敛后的步长限制动态，揭示了优化超参数、梯度噪声结构及训练结束时 Hessian 矩阵之间错综复杂的相互作用，通过统计物理学的视角解释这种异常扩散现象并在 ImageNet 数据集的 ResNet-18 模型上得到了实证验证。

Jul, 2021