神经网络的损失函数可视化

NIPSDec, 2017

Visualizing the Loss Landscape of Neural Nets

Hao Li, Zheng Xu, Gavin Taylor, Christoph Studer, Tom Goldstein

TL;DR本文通过可视化方法探讨神经网络损失函数的结构和损失景观对泛化的影响，提出了一种简单的 “滤波器归一化” 方法来可视化损失函数曲率并对损失函数进行有意义的比较。然后，利用各种可视化方法，探索网络结构如何影响损失景观，以及训练参数如何影响最小化器的形状。

Abstract

neural network training relies on our ability to find "good" minimizers of highly non-convex loss functions. It is well-known that certain network architecture designs (e.g., skip connections) produce

neural network training loss functions network architecture training parameters visualization methods

发现论文，激发创造

神经网络的全球概览

本文回顾了关于神经网络全局和局部损失函数的广泛研究，重点探讨了在某些假设下宽神经网络可能存在亚优局部最小值的性质以及一些修改方法，并讨论了实际神经网络的可视化和经验探索，最后简要讨论了一些收敛结果及其与全局和局部损失函数相关的关系。

Jul, 2020

深度学习泛化理解：损失景观的视角

研究表明，深度神经网络模型具有很好的泛化能力，其优秀的泛化能力是来自于损失函数的加权局部最小值及其优化方法。

Jun, 2017

神经网络损失函数的大尺度结构

本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性，其中高维度发挥了关键作用，通过将损失函数的空间看作是一系列高维楔形图的集合，揭示了优化算法收敛过程的内在规律，最终还研究了一些深度网络的集成技术。

Jun, 2019

通过可视化理解泛化

本研究探讨神经网络的泛化能力及其背后的原因，通过可视化方法探寻损失景观的几何形状和高维度导致的最优化问题，旨在更加直观地解释泛化现象。

Jun, 2019

超参数神经网络的损失景观

本文研究过参数神经网络的损失函数的数学特性，证明了当神经网络的参数数目大于数据点数目时，全局最小值点的集合通常是一个高维子流形。

Apr, 2018

透过损失函数几何理解对抗鲁棒性

本研究探索了使用对抗训练数据增强作为显式正则化技术的后果，发现这种经常使用的对抗增强技术实际上并没有导致更平的损失平面，需要重新思考对抗训练泛化以及泛化和损失平面几何之间的关系。

Jul, 2019

两层神经网络全局最小值附近的结构和梯度动态

对于两层神经网络在全局最小值附近的损失函数图景进行研究，确定了能够实现完美泛化的参数集，并完全描述了其梯度流动。通过新颖的技术，我们揭示了复杂的损失函数图景的一些简单特征，并揭示了模型、目标函数、样本和初始化对训练动态的不同影响。基于这些结果，我们还解释了为什么过度参数化的神经网络能够很好地泛化。

Sep, 2023

神经网络的临界点：解析形式与景观特性

本研究提供了正方形损失函数的所有临界点（以及全局优化器）的解析形式的全面（必要和充分）表征，展示了实现全球最小值的必要和充分条件，并通过极小值的分析形式表征了神经网络的损失函数的景观特性。

Oct, 2017

损失地形的曲率研究

通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

Jul, 2023

神经网络损失函数曲面的线性插值可以为我们提供什么信息？

本文研究神经网络的损失景观，通过线性插值从初始状态到最终状态的方式探讨算法中的优化问题，发现线性插值的形状并不反映模型测试准确度变化，这破坏了关于插值中阻碍存在或不存在与优化成功相关的广泛思想。

Jun, 2021