BriefGPT.xyz
Jun, 2019
神经网络损失函数的大尺度结构
Large Scale Structure of Neural Network Loss Landscapes
HTML
PDF
Stanislav Fort, Stanislaw Jastrzebski
TL;DR
本文通过一个统一的现象学模型来解释深度神经网络优化过程中的一些令人惊讶、或者说是违反直觉的特性,其中高维度发挥了关键作用,通过将损失函数的空间看作是一系列高维楔形图的集合,揭示了优化算法收敛过程的内在规律,最终还研究了一些深度网络的集成技术。
Abstract
There are many surprising and perhaps counter-intuitive properties of
optimization
of
deep neural networks
. We propose and experimentally verify a unified phenomenological model of the
→