Nov, 2023

利用线性初始化改进自编码器收敛速度和完全训练误差

PDF
TL;DR通过引入 Straddled Matrix Initialiser 以及 ReLU 激活函数的组合，本文通过在三个数据集上的 autoencoder 实验验证了该初始化技术优于其他现有权重初始化方法的性能。
weight initialisationartificial neural networksstraddled matrix initialiserrelu activation functionstate-of-the-art weight initialisation
发现论文，激发创造
  • 深度神经网络中的权重初始化

    本文阐述了权重初始化对神经网络收敛的关键性，通过研究非线性激活函数的影响，提出了一种通用的权重初始化策略，并解释了为什么 Xavier 初始化在 Rectified Linear Unit 激活函数下效果不佳。

    Apr, 2017

  • 深且窄的前馈神经网络的改进权重初始化

    通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

    Nov, 2023

  • 深度神经网络中使用正交初始化解决梯度不稳定性的生物合理性探究

    本文提出了两种初始化方案，允许网络自然演化其权重形成正交矩阵，并提供理论分析，预先训练正交化始终收敛，并通过实验证实，所提出的方案优于随机初始化的递归和前向网络。

    Oct, 2022

  • AutoInit: 神经网络分析信号保持的权重初始化

    本文介绍了一种自适应不同神经网络结构的权重初始化算法 AutoInit，该算法通过跟踪信号传播时的均值和方差，适当地调整每层的权重，从而避免信号爆炸或消失。实验证明，AutoInit 在各种激活函数、正则化、学习率和归一化设置下，都能提高卷积、残差和 Transformer 网络的性能，并比依赖数据的初始化方法更可靠。该算法的灵活性使其能够为各种规模的任务初始化模型，是神经架构搜索和激活函数发现等领域一种自动化配置工具，使新神经网络结构的设计更加鲁棒。AutoInit package 提供了一个 TensorFlow 的封装，可在此 URL 中获得。

    Sep, 2021

  • 采用 ReLU 非线性激活函数优化循环神经网络性能

    本文针对使用 ReLU 非线性函数的循环神经网络提出一种修改后的权重初始化策略，并通过三个长期时间结构遵循的玩具问题以及一个基准动作识别问题的实验结果证实了该策略的有效性。

    Nov, 2015

  • 两层网络训练中的早期对齐是双刃剑

    使用一阶优化方法训练神经网络是深度学习实验成功的核心。在小的初始化下，训练动力学的早期阶段会导致神经元朝关键方向对齐，从而引发网络的稀疏表示，这与渐近梯度流的隐式偏差相关。然而，这种稀疏诱导的对齐会导致在最小化训练目标上面临困难，我们还提供了一个简单的数据示例，说明过度参数化的网络无法收敛到全局极小值点，而只能收敛到一个虚假的稳定点。

    Jan, 2024

  • 从点到源：用生成模型初始化神经网络

    我们介绍了两组新的初始化方法：第一组是通过应用变分自动编码器来局部初始化权重组，第二组是通过应用图形超网络来全局初始化完整的权重集合。我们通过在精度、收敛速度和集成方面对采用的生成模型对最先进的神经网络进行了彻底的评估。结果表明，全局初始化导致更高的准确性和更快的初始收敛速度，然而通过图形超网络实现的方式会降低对于超出分布数据的集成性能。为了弥补这个问题，我们提出了一种叫噪声图形超网络的修改方法，鼓励在生成的集成成员中产生多样性。此外，我们的方法可能能够将学到的知识传递给不同的图像分布。我们的工作提供了对于这些新的初始化方法的潜力、权衡和可能修改的见解。

    Oct, 2023

  • 只需一个良好的初始化

    提出了层顺序单元方差（LSUV）初始化 —— 一种用于深度学习网络权重初始化的简单方法，它包括两个步骤：使用正交矩阵预初始化每个卷积或内积层的权重，然后从第一层到最后一层，将每一层输出的方差标准化为 1。研究表明，该初始化方法使学习非常深的神经网络成为可能，其表现至少不逊于专门为此设计的复杂方案，并能在 MNIST、CIFAR-10/100 和 ImageNet 等数据集上实现接近最新水平的性能。

    Nov, 2015

  • 用于低秩神经网络的非线性初始化方法

    我们提出了一种新的低秩初始化框架，用于训练低秩深度神经网络，证明了这种方法在 ReLU 网络中的有效性，并使用此方法训练了 ResNet 和 EfficientNet 模型。

    Feb, 2022

  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022