非对称山谷：突出和平坦局部极值之外

ICMLFeb, 2019

非对称山谷：突出和平坦局部极值之外

Asymmetric Valleys: Beyond Sharp and Flat Local Minima

Haowei He, Gao Huang, Yang Yuan

TL;DR本研究观察到现代深度网络的局部最小值不仅是平坦或尖锐，而且存在许多不对称方向。我们形式化地将这样的最小值定义为不对称山谷，并证明在不对称山谷中，偏向平面的解决方案比确切的最小值更好地推广。此外，我们还发现，批量归一化（BN）似乎是不对称山谷产生的主要原因。

Abstract

Despite the non-convex nature of their loss functions, deep neural networks are known to generalize well when optimized with stochastic gradient descent (SGD). Recent work conjectures that SGD with proper configu

deep neural networks stochastic gradient descent local minima asymmetric valleys batch normalization

发现论文，激发创造

对称性，平坦极小值，以及梯度流守恒量

通过使用激活函数的同变性并将其推广到非线性神经网络，找到了一些全局最小值的低误差谷，该方法可以提高鲁棒性，并提供了有关初始化影响的见解。

Oct, 2022

深度神经网络的非对称谷探索与利用

探索深度神经网络（DNNs）的损失景观可以揭示其内在原理。我们的研究系统地探索了影响 DNNs 山谷对称性的因素，包括数据集、网络架构、初始化、超参数以及噪声的大小和方向。我们的主要观察表明，噪声与收敛点之间的符号一致性是山谷对称性的关键指标。从 ReLU 激活函数和 softmax 函数的角度可以解释这一有趣现象。我们的发现在模型融合方案中带来新的理解和应用，特别是插值单独模型的有效性与它们的符号一致性比例相关，并在联邦学习中实施符号对齐成为模型参数对齐的创新方法。

May, 2024

深度网络平坦极小值的独特特性

研究表明，随机梯度下降有一个偏好于平滑最小值的隐含偏差。本文研究发现，在具有二次损失的线性神经网络训练中，线性 ResNets 的零初始化必然收敛于所有最小值中最平滑的最小值，这些最小值对应着接近平衡网络。另外，相邻层的权重矩阵在平坦的极小值解中相互耦合，形成了从输入到输出的明显路径，该路径只用于体验端到端最大增益的信号。

Feb, 2020

在神经网络中围绕宽平坦最小值塑造学习模式

本文研究了具有随机权重的一层和两层神经网络在非凸损失函数情况下的学习行为，引入了宽平原（WFM）这一概念，并探索了 WFM 如何出现以及在学习中起到什么作用。

May, 2019

熵梯度下降算法与宽平坦最小值

论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

Jun, 2020

深度网络可通过尖利极小化实现泛化

本文研究探讨深度学习的通用性，以及诸如损失函数的可行性等问题，并对深度网络中的对称性和参数空间等方面进行了分析。

Mar, 2017

双层神经网络优化景观中的虚假峰谷

本文主要研究神经网络中存在的局部极小值问题。针对两层神经网络，定义了其固有维度，并证明了有限的固有维度保证了超参数化的模型不存在局部极小值，而无限的固有维度意味着在某些数据分布下必然存在局部极小值。此外，尽管在一般情况下可能存在局部极小值，但其出现在低风险水平，并高概率地避免在超参数化的模型上。