BriefGPT.xyz
Jul, 2021
分类边界的分布:所有数据是否平等?
Distribution of Classification Margins: Are All Data Equal?
HTML
PDF
Andrzej Banburski, Fernanda De La Torre, Nishka Pant, Ishana Shastri, Tomaso Poggio
TL;DR
通过对深度神经网络上梯度下降算法的实证研究发现,通过训练集中带宽分布曲线的曲线下面积来量化模型的泛化性能是更精确的方法,并且在加入批量规范化和权重衰减的情况下得到的训练点会收敛到同一个渐近边界,但其高容量特征并不一致。
Abstract
Recent theoretical results show that
gradient descent
on
deep neural networks
under exponential loss functions locally maximizes
classification m
→