神经网络中从损失平坦性到压缩表示的简单连接

Oct, 2023

神经网络中从损失平坦性到压缩表示的简单连接

A simple connection from loss flatness to compressed representations in neural networks

Shirui Chen, Stefano Recanatesi, Eric Shea-Brown

TL;DR深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

Abstract

deep neural networks' generalization capacity has been studied in a variety of ways, including at least two distinct categories of approach: one based on the shape of the →

deep neural networks generalization capacity loss landscape parameter optimization neural representations

发现论文，激发创造

相对平坦性和泛化

本文研究了损失曲线的平直性与机器学习模型的泛化能力之间的联系，通过推导出代表性数据的概念，并提出新的相对平直性的度量方法，解决了薄板回归等复杂度量方法所带来的重新参数化的问题。

Jan, 2020

环面上的深度神经网络：消除对称性揭示平衡点结构的几何形态

通过探索误差空间，我们证明了最小值的平坦程度与泛化性能的相关性，并发现在函数空间中，最小值之间的距离更近略微平坦，通过优化算法可以连接彼此

Feb, 2022

深度网络平坦极小值的独特特性

研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

Feb, 2020

深度神经网络中的降维压缩和扩展

本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

Jun, 2019

渐进锐化、平坦最小值和泛化

我们提出了一种新的方法来理解深度学习中损失曲率和泛化之间的关系，特别地，我们使用深度网络损失 Hessian 频谱的现有经验分析来基于一个猜想将深度神经网络的损失 Hessian 和输入输出 Jacobian 联系在一起。我们证明了一系列理论结果，这些结果量化了模型的输入输出 Jacobian 在数据分布上近似其 Lipschitz 范数的程度，并在经验 Jacobian 的术语中推导出一个新的泛化界限。我们使用我们的猜想以及我们的理论结果来提供一个关于最近观察到的渐进锐化现象以及平坦极小值的泛化特性的新解释。我们提供了实验证据来验证我们的论点。

May, 2023

具有连接切线核的尺度不变贝叶斯神经网络

该研究提出了基于参数缩放的先验分布与后验分布的不变性解决神经网络中泛化与可靠性问题，避免了参数总体规模变化对网络泛化性能的影响，从而提高了 Laplace 对数似然近似算法的不确定性校准效果。

Sep, 2022

相对平坦度感知的最小化（FAM）

通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

Jul, 2023

在神经网络中围绕宽平坦最小值塑造学习模式

本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

May, 2019

深度学习泛化理解：损失景观的视角

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017

深度网络可通过尖利极小化实现泛化

本文研究探讨深度学习的通用性，以及诸如损失函数的可行性等问题，并对深度网络中的对称性和参数空间等方面进行了分析。

Mar, 2017