超越信号传递：深度神经网络初始化是否需要特征多样性？

ICMLJul, 2020

超越信号传递：深度神经网络初始化是否需要特征多样性？

Beyond Signal Propagation: Is Feature Diversity Necessary in Deep Neural Network Initialization?

Yaniv Blumenfeld, Dar Gilboa, Daniel Soudry

TL;DR本文探讨使用几乎所有权重初始化为 0 的方法来构建深度卷积网络，发现推荐的随机权重初始化并不一定是必要的，关键在于对称破缺机制，实验结果表明标准 GPU 操作足以使网络产生对称破缺生成足够特征。

Abstract

deep neural networks are typically initialized with random weights, with variances chosen to facilitate signal propagation and stable gradients

deep neural networks weights initialization signal propagation stable gradients symmetry breaking

发现论文，激发创造

深度网络中的特征学习与泛化及正交权重

完全连接的深度神经网络，其权重从独立的高斯分布初始化，可以调整到临界状态，阻止信号在网络中传播时呈指数增长或衰减。然而，这种网络仍然会表现出与网络深度线性增长的波动，这可能会削弱与深度相当的宽度网络的训练。我们在理论上证明了矩形网络与双曲正切激活函数以及从正交矩阵集合初始化权重，其相应的预激活波动与深度无关，以逆宽度为导数阶主导。此外，我们通过数值实验表明，初始化时在逆宽度方向上控制可观测量的演变的神经切向核（NTK）及其后代涉及的相关者的饱和深度约为 20，而不像高斯初始化的情况下无限增长。我们推测这种结构保留了有限宽度特征学习的同时，降低了整体噪声，从而改善了泛化能力和训练速度。通过将 NTK 的经验测量与深度非线性正交网络在 MNIST 和 CIFAR-10 分类任务上的卓越性能联系起来，我们提供了一些实验上的证明。

Oct, 2023

解密随机初始化网络以评估生成模型

通过在随机网络和训练网络的特征空间中进行比较，我们发现随机网络的特征可以作为评估生成模型的一种代替，而且两种类型的特征可互补使用。

Aug, 2022

深度神经网络特征相关性研究

本文探讨了深度神经网络中冗余特征的提取，发现网络大小和激活函数是促进其提取冗余特征的两个最重要的因素，使用 MNIST 数字识别和 CIFAR-10 数据集中的多层感知器和卷积神经网络说明了该概念。

Jan, 2019

前馈网络中的缩放和重定比对称性

这篇研究论文指出，当神经网络的权值与偏差在临界线的值上初始化时，可以加速训练速度，并且在未经训练的前馈网络中，具有物理系统的临界点展现出的自相似的特性。

Jun, 2023

卷积神经网络的数据相关初始化

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。