只需一个良好的初始化

Nov, 2015

All you need is a good init

Dmytro Mishkin, Jiri Matas

TL;DR提出了层顺序单元方差（LSUV）初始化——一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在MNIST、CIFAR-10/100和ImageNet等数据集上实现接近最新水平的性能。

Abstract

Layer-sequential unit-variance (LSUV) initialization - a simple strategy for weight initialization for deep net learning - is proposed. The strategy proceeds from the first to the final layer, normalizing the var