提出了一种基于神经网络积分表示的非参数概率分布初始化方法，该方法通过从分布中抽取样本来初始化隐藏参数，并进行普通线性回归拟合输出参数。 数值实验表明，使用该方法进行反向传播比均匀随机初始化更快地收敛。 在某些情况下，该方法可以单独实现足够的准确性而不需要反向传播。

Dec, 2013

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么Xavier初始化在Rectified Linear Unit激活函数下效果不佳。

Apr, 2017

通过分析等价核，我们探讨了具有旋转不变性的权重分布和ReLU或LeakyReLU激活函数的多层感知机等价核，并使用中心极限定理表明了具有0平均值和有限绝对第三矩的权重分布相对于球形高斯权重层的核是渐近通用的。同时，深度网络的等效核趋向于病态固定点，这可用于证明随机初始化网络训练困难。

Nov, 2017

本篇文章研究了张量卷积神经网络的权重初始化问题，并提出了普适的初始方法，其中包括引入了Reproducing Transformation，以及基于前向和反向传播操作符的fan-in和fan-out初始化方法，实现了对张量卷积神经网络训练的稳定化。

May, 2022

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

Nov, 2023

权重选择为在资源受限环境中训练小型模型提供一种新的方法，通过从预训练的大型模型中选择一部分权重，将知识迁移到更小的模型上，从而显著提升小型模型的性能并减少训练时间。

Nov, 2023

通过凸优化过程将数据集的主要方向整合到低秩RBM中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练RBM来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的MCMC方法更快地采样训练模型的平衡分布并更好地估计对数似然。

May, 2024

本研究针对双曲正切神经网络在深度增加时训练难度加大的问题，提出了一种新的权重初始化方法。通过分析双曲正切函数的固定点，确定了防止激活饱和的权重值，从而提升了网络在不同规模下的鲁棒性与收敛速度。实验表明，该方法在求解偏微分方程问题时优于现有的Xavier初始化。

Oct, 2024