渐进锐化、平坦最小值和泛化

May, 2023

On progressive sharpening, flat minima and generalisation

Lachlan Ewen MacDonald, Jack Valmadre, Simon Lucey

TL;DR我们提出了一种新的方法来理解深度学习中损失曲率和泛化之间的关系，特别地，我们使用深度网络损失 Hessian 频谱的现有经验分析来基于一个猜想将深度神经网络的损失 Hessian 和输入输出 Jacobian 联系在一起。我们证明了一系列理论结果，这些结果量化了模型的输入输出 Jacobian 在数据分布上近似其 Lipschitz 范数的程度，并在经验 Jacobian 的术语中推导出一个新的泛化界限。我们使用我们的猜想以及我们的理论结果来提供一个关于最近观察到的渐进锐化现象以及平坦极小值的泛化特性的新解释。我们提供了实验证据来验证我们的论点。

Abstract

We present a new approach to understanding the relationship between loss curvature and generalisation in deep learning. Specifically, we use existing empirical analyses of the spectrum of deep network loss Hessia

loss curvature generalisation deep learning hessian spectrum neural network

发现论文，激发创造

深度网络可通过尖利极小化实现泛化

本文研究探讨深度学习的通用性，以及诸如损失函数的可行性等问题，并对深度网络中的对称性和参数空间等方面进行了分析。

Mar, 2017

回归问题的深度线性网络在隐含规范化方面趋向于平坦的最小值

神经网络的海森矩阵的最大特征值（或清晰度）是理解其优化动态的关键量。本文研究超定单变量回归的深度线性网络的清晰度。虽然最小化器的清晰度可以任意大，但不可以任意小。事实上，我们证明了最小化器清晰度的下界与深度成线性增长。然后我们研究了梯度流找到的最小化器的性质，这是梯度下降的极限情况，学习率趋于零。我们证明了对于平坦最小值的隐式正则化：最小化器的清晰度不超过下界的一个常数倍。该常数取决于数据协方差矩阵的条件数，而不取决于宽度或深度。我们分别证明了小尺度初始化和残差初始化的结果。对于小尺度初始化，我们证明了所学权重矩阵近似为秩一及其奇异向量对齐。对于残差初始化，我们证明了高斯初始化的残差网络的梯度流的收敛性。数值实验验证了我们的结果，并将其与非零学习率的梯度下降联系在一起。

May, 2024

神经网络中从损失平坦性到压缩表示的简单连接

深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

Oct, 2023

通过最优偏移改善深度神经网络的泛化能力

我们提出了一种名为 “最优偏移” 的新方法，通过改变神经网络的参数从一个尖锐的极小值到一个更平坦的极小值，同时保持相同的训练损失值，以此来提高神经网络的泛化能力。我们的方法基于以下观察：当固定神经网络的输入和输出时，网络内的矩阵乘法可以被看作是欠定线性方程组的解空间，通过解决一个有约束的优化问题可以简单地调整参数。此外，我们引入了一种利用神经坍缩理论减少计算成本并提供更多最优偏移自由度的实用随机最优偏移技术。通过在基准数据集上使用各种深度神经网络结构进行广泛的实验（包括分类和检测），验证了我们方法的有效性。

May, 2024

揭示 Hessian 与决策边界的关联

本研究探讨了深度学习和神经网络中的的决策边界复杂度与 Hessian 矩阵特征值之间的关联，并提出了一种新的边界复杂度的衡量方法和边界宽度的估计技术。

Jun, 2023

尖锐度最小化算法不仅仅通过最小化尖锐度来达到更好泛化

尽管进行了广泛的研究，但超参数化神经网络为何能够泛化的根本原因仍然不清楚。本研究通过理论和实证研究指出，对于两层 ReLU 网络，（1）平坦确实意味着泛化；（2）存在不泛化的最平坦模型，锐度最小化算法无法泛化；（3）最令人惊讶的是，存在不泛化的最平坦模型，但锐度最小化算法仍然可以泛化。我们的结果表明，锐度与泛化之间的关系微妙地依赖于数据分布和模型架构，锐度最小化算法不仅通过最小化锐度来实现更好的泛化。这需要寻找超参数化神经网络泛化的其他解释。

Jul, 2023

损失地形的曲率研究

通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

Jul, 2023

深度学习泛化理解：损失景观的视角

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017

使用梯度下降和弱凸损失进行学习

本研究探讨了当经验风险为弱凸函数时，梯度下降的学习性能，并通过将最小负特征值应用于控制梯度下降的稳定性，从而证明了与先前的研究相比，其持有更广范围步长的一般化误差界。当经验风险满足局部弱凸性时，可以通过对网络进行归一化来控制误差，其中，两层神经网络的经验风险可以满足局部弱凸性。通过权衡网络复杂度和缩放，深入探讨了神经网络缩放的隐式偏差，并得出实验结果的支持。

Jan, 2021

深度矩阵分解中平坦正则化的归纳偏差

在学习从线性度量中的深度线性网络时，最小化 Hessian 矩阵的迹大致相当于最小化相应端到端矩阵参数的 Schatten 1 - 范数，这进而导致更好的概括。

Jun, 2023