通过研究学习卷积核的协方差，提出了一种针对卷积滤波器的学习自由的多元初始化方案，该方案的性能优于传统的随机初始化方法，并且在某些情况下，即使不训练深度卷积滤波器，也可以提高性能。

Oct, 2022

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

本文提出了一种投影基准重量归一化 (PBWN) 的方法，通过将每个神经元的输入权重限制在单位范数上，以达到优化 DNN 性能的目的。实验表明，该方法在许多不同的 DNN 体系结构上均能提高性能，并且能够在 permutation invariant MNIST 数据集上实现半监督学习方面的超越表现。

Oct, 2017

本篇文章研究了张量卷积神经网络的权重初始化问题，并提出了普适的初始方法，其中包括引入了 Reproducing Transformation，以及基于前向和反向传播操作符的 fan-in 和 fan-out 初始化方法，实现了对张量卷积神经网络训练的稳定化。

May, 2022

对图神经网络 (GNN) 的初始化方法进行研究，提出了一种新的初始化方法 Virgo，通过考虑激活函数、隐藏维度、图结构和信息传递等因素，减少了方差不稳定性，提高了模型性能。

Dec, 2023

本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法与学习率预热相结合，能减小权重规范化神经网络与批量规范化神经网络之间性能的差距。

Jun, 2019

本文提出了一种基于深度学习的 CNN 网络结构来模拟自然图像的统计规律，并使用随机重排像素的方式提高 CNN 对于像素分布的关注度，采用点卷积核取代大卷积核，实现了更好的统计表示能力。实验结果表明，该网络在颜色校正和图像去雾两个应用中达到了可比较的性能，并且参数数量和计算成本比现有架构更小。

Jan, 2018

通过研究彼此之间的关系，本文旨在对批归一化 (BN) 的实际效果进行解释，并通过提出参数权重标准化 (PWS) 解决平均梯度偏移的问题，从而使神经网络更快地收敛并在方差传递的角度解释 BN 的作用。

Mar, 2021

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

本研究提出了一种加权法线估算方法，包括一种新型加权法线回归技术和一项对比度学习预处理过程，在保持特征的同时实现了鲁棒性，处理了噪声和复杂的点云，获得了合成和真实数据集上的最先进性能。

May, 2023