提出了层顺序单元方差（LSUV）初始化——一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在MNIST、CIFAR-10/100和ImageNet等数据集上实现接近最新水平的性能。

Nov, 2015

该研究提出了一种快速、简单的数据依赖初始化过程，可避免幻灭或爆炸梯度，并能够与当前领先的无监督或自监督预训练方法相匹配，同时比前人的方法快大约三个数量级，当与预训练方法结合时，可以显著优于先前的工作，在监督和无监督预训练之间缩小差距。

Nov, 2015

本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么Xavier初始化在Rectified Linear Unit激活函数下效果不佳。

Apr, 2017

本研究探讨了将张量压缩作为神经网络层的应用，并提出了张量压缩层的概念。通过在图像识别任务中使用张量压缩技术，本文提出的网络模型在减少模型参数数量的同时保证了准确性，并在某些情况下实现了更好的性能。

Jun, 2017

本文提出一种全新的方法，旨在将卷积神经网络（CNN）完全参数化为高阶低秩张量，并将整个网络进行规范化，从而显著减少参数数量，而且在人体姿势估计这一具有挑战性的任务中，即使使用较小的压缩比，也能够实现卓越的性能。

Apr, 2019

本文研究权重规范化神经网络的参数初始化策略，通过使用平均场近似方法，提出了一种新的参数初始化策略。通过超过 2500 次实验，本文展示了所提出的初始化方法在图像数据集上具有更好的泛化性能、超参数值鲁棒性和种子之间的变异性。而且，该初始化方法与学习率预热相结合，能减小权重规范化神经网络与批量规范化神经网络之间性能的差距。

Jun, 2019

本文介绍了一种自适应不同神经网络结构的权重初始化算法AutoInit，该算法通过跟踪信号传播时的均值和方差，适当地调整每层的权重，从而避免信号爆炸或消失。实验证明，AutoInit在各种激活函数、正则化、学习率和归一化设置下，都能提高卷积、残差和Transformer网络的性能，并比依赖数据的初始化方法更可靠。该算法的灵活性使其能够为各种规模的任务初始化模型，是神经架构搜索和激活函数发现等领域一种自动化配置工具，使新神经网络结构的设计更加鲁棒。AutoInit package提供了一个TensorFlow的封装，可在此 URL中获得。

Sep, 2021

我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

Oct, 2023

通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

Nov, 2023

这篇论文提出了一种用于表示张量卷积层的统一框架，以及一种能够以最小化浮点操作数（FLOPs）的方式评估这些框架的方法，实验证明 conv_einsum 显著提高了卷积张量网络的计算和内存效率。

Jan, 2024