ReZero 是您所需的：在大深度下快速收敛

Mar, 2020

ReZero 是您所需的：在大深度下快速收敛

ReZero is All You Need: Fast Convergence at Large Depth

Thomas Bachlechner, Bodhisattwa Prasad Majumder, Huanru Henry Mao, Garrison W. Cottrell, Julian McAuley

TL;DR通过使用零初始化参数对残差连接进行门控，满足初始动态等性，可以在深度学习中进行更快的收敛和更好的测试表现，并且我们可以轻松地训练 120 层变压器。

Abstract

Deep networks often suffer from vanishing or exploding gradients due to inefficient signal propagation, leading to long training times or convergence difficulties. Various architecture designs, sophisticated residual-style networks, and initialization schemes have been shown to improve deep signal propagation. Recently, Pennington et al. used free probabilit

deep learning vanishing/exploding gradients residual connections dynamical isometry language modeling

发现论文，激发创造

CNN 的动态同构性及均场理论：如何训练一万层 Vanilla 卷积神经网络

本研究展示了使用适当的初始化方案可以简单地训练具有一万层或更多层的普通卷积神经网络，并演示了这些随机正交卷积核的生成算法以及它们实现极深网络的高效训练能力。

Jun, 2018

残差网络通过通用的激活函数实现动态等比特性

本文研究了残差神经网络中动态同构的可达性，借助自由概率和随机矩阵理论，我们导出了初始化时输入输出雅可比矩阵谱密度的通用公式，在大型网络中我们得到了一个依赖于单个参数的奇异值谱，并分析了各种常见激活函数的信号传播，我们通过随机矩阵和 CIFAR-10 分类问题的数值模拟证实了结果，并研究了这种普适性行为对学习过程的影响，最后得出结论：在初始化时选择相同水平的动态同构可以消除激活函数的影响，促进学习。

Sep, 2018

深度 ResNet 的过度参数化：零损失和平均场分析

研究无限深度和无限宽度下 Residual 神经网络中梯度下降和凸优化的等效性，得出当神经网络足够大时，ResNet 的训练可以得到几乎没有误差的近似解决方案。

May, 2021

如何开始训练：初始化和架构的影响

本文针对深度 ReLU 神经网络早期训练的两种常见失效模式进行研究和识别，为每种模式提供了严格的证明以及如何避免。我们证明了正确的权重初始化以及架构可以使得深层神经网络成功训练，并在实验中证实了我们的理论结果的有效性。

Mar, 2018

关于训练深层线性 ResNets 的全局收敛性

本研究讨论使用梯度下降和随机梯度下降算法进行训练具有 $L$ 层隐藏层的线性残差神经网络（ResNets）所需的网络宽度和线性变换；并且证明了在特定的线性变换和零初始化条件下，GD 和 SGD 算法能够收敛到最小训练误差的全局最小值。

Mar, 2020

深度残差网络的收敛分析

本研究旨在了解深度 ResNets 的收敛性，并给出一般深度神经网络的矩阵 - 向量描述和明确表达式，以研究两个涉及无限非方形矩阵积的级数的收敛性，进而建立 ResNets 逐点收敛的充分条件，并在基准机器学习数据上进行实验证实我们的结论。

May, 2022

再次让深度网络变得浅显

通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

Sep, 2023

深度残差网络中学习严格身份映射

本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

Apr, 2018

残差网络中的深度超参数转移：动态和尺度限制

使用深度学习调参中的参数化方法，研究残差网络的超参数如何在不同宽度和深度的网络中传递，并证明实验和理论结果的一致性。

Sep, 2023

超越良好初始：探索正交性和调制对训练极深卷积神经网络的更好解决方案

研究表明，使用正交性标准化的变种正则化方法和基于 “准同构假设” 的反向错误调节机制可以在不使用任何快捷方式 / 身份映射的情况下，训练一种特定结构（重复三模块的 Conv-BNReLU）的极深卷积神经网络（CNN），实验结果表明，这种方法可以在 CIFAR-10 和 ImageNet 数据集上显着提高 44 层和 110 层的网络的性能，并且可以成功地通过新的设计原则和残差结构来设计网络结构以获得相似的 ImageNet 数据集上的表现。

Mar, 2017