深度残差网络的收敛分析

May, 2022

Convergence Analysis of Deep Residual Networks

Wentao Huang, Haizhang Zhang

TL;DR本研究旨在了解深度 ResNets 的收敛性，并给出一般深度神经网络的矩阵 - 向量描述和明确表达式，以研究两个涉及无限非方形矩阵积的级数的收敛性，进而建立 ResNets 逐点收敛的充分条件，并在基准机器学习数据上进行实验证实我们的结论。

Abstract

Various powerful deep neural network architectures have made great contribution to the exciting successes of deep learning in the past two decades. Among them, deep residual networks (ResNets) are of particular importance because they demonstrated great usefulness in computer vision by

deep residual networks convergence neural networks shortcut connections activation matrices

发现论文，激发创造

深度残差神经网络的分层并行训练

该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

Dec, 2018

为什么深度残差网络比深度前馈网络具有更好的泛化性能？——— 一种神经切向核的视角

该论文从神经切向核的角度研究了深度学习中深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。

Feb, 2020

IamNN：用于高效图像分类的迭代自适应移动神经网络

本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

Apr, 2018

残差连接鼓励迭代推断

研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

从动力系统观点设计的多层残差网络

本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

Oct, 2017

ResNets 是否可证明比线性预测器更好？

本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

Apr, 2018

多重残差网络：提高残差网络的速度和准确性

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

深度残差网络和权重初始化

本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

Sep, 2017

残差神经网络的深层限制

本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

Oct, 2018