本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么Xavier初始化在Rectified Linear Unit激活函数下效果不佳。

Apr, 2017

通过分析等价核，我们探讨了具有旋转不变性的权重分布和ReLU或LeakyReLU激活函数的多层感知机等价核，并使用中心极限定理表明了具有0平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时，深度网络的等效核趋向于病态固定点，这可用于证明随机初始化网络训练困难。

Nov, 2017

这篇论文研究了深度神经网络的权重初始化和激活函数对其训练性能的影响，证明了边缘混沌状态具有优异的表现，同时提出了一类叫做Swish的激活函数，可以优化信息传递。

May, 2018

本文研究表明，在神经网络中使用ReLU激活函数和随机初始化梯度下降法可以以全局线性收敛率收敛于全局最优解，其分析依赖于神经网络的超参数和随机初始化方式，这些经验也可能有助于分析深度网络等其他一阶方法。

Oct, 2018

本文研究在深度神经网络的梯度优化中最具影响力的超参数选择之一——初始参数值的选择，分析了不同初始化方案的具体影响，证明了从正交组中绘制初始权重相对于具有独立同分布权重的标准高斯初始化会加速收敛，并且展示了如何通过基于动态等谱性的初始化原理初始化非线性网络以获得最佳效果。

Jan, 2020

本文研究神经网络参数初始化的问题，利用SMT求解器降低初始化的难度，试图寻找更好的初始化方案，实验证实该方法在深层网络上比随机初始化的方法效果更好，针对不同的激活函数也取得了显著的优势。

Nov, 2020

研究了前馈神经网络的复杂性，通过功能等价的概念来探讨不同的网络参数化可以导致相同的功能，利用排列不变性来推导出前馈神经网络类的新型覆盖数界限，揭示了通过利用这个属性可以降低神经网络的复杂性，此外，通过参数空间的对称结构，证明适当的随机参数初始化策略可以增加优化收敛的概率，同时发现过度参数化的网络更容易训练，在增加神经网络的宽度方面可以导致有效参数空间体积的消失。这些发现为过度参数化提供了新的见解，并对深度学习中的一般化和优化有重要的影响。

May, 2023

通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

Nov, 2023

本研究针对限制玻尔兹曼机（RBM）缺乏有效的无数据集权重初始化方法这一问题，提出了一种基于统计力学分析的权重初始化方法。该方法通过优化高斯分布的标准差，以提高两层之间的相关性，从而提升学习效率，具有良好的理论基础和实际应用价值。

Sep, 2024

本研究解决了神经网络初始化中参数分布的非均匀性问题，通过基础函数的导数数据提出了一种数据驱动的参数分布新方法。研究表明，基于导数数据的随机特征模型在多个场景中表现接近于最优网络，从而提升了传统均匀随机特征模型的性能。

Oct, 2024