BriefGPT.xyz
May, 2018
学习的动态性：一种随机矩阵方法
The Dynamics of Learning: A Random Matrix Approach
HTML
PDF
Zhenyu Liao, Romain Couillet
TL;DR
本文介绍了基于随机矩阵的框架来分析单层线性网络在大维度和规模数据上通过梯度下降训练的学习动态，并对神经网络中的过拟合、早停和训练初始化等问题提供了深入的见解，为进一步研究今天神经网络中出现的更复杂的结构和模型打开了大门。
Abstract
Understanding the
learning dynamics
of
neural networks
is one of the key issues for the improvement of
optimization algorithms
as well as
→