使用 Boosting 理论顺序学习深层 ResNet 块

ICMLJun, 2017

使用 Boosting 理论顺序学习深层 ResNet 块

Learning Deep ResNet Blocks Sequentially using Boosting Theory

Furong Huang, Jordan Ash, John Langford, Robert Schapire

TL;DR本文针对深度神经网络训练的不稳定性，提出具有强学习能力的 ResNet 架构，并在该条件下证明了 ResNet 的 Boosting 理论，同时提出 BoostResNet 训练算法来刻画 “浅层 ResNet” 的序列训练，推导出了 ResNet 的弱学习条件，并证明在深度为 $T$ 时，训练的误差随着 $T$ 指数下降。基于边缘理论证明了广义分类 ResNet 的泛化误差上限，并建议 ResNet 对边缘带 $l_1$ 约束的权重具有抵抗过拟合的能力。

Abstract

deep neural networks are known to be difficult to train due to the instability of back-propagation. A deep \emph{residual network} (ResNet) with identity loops remedies this by stabilizing gradient computations. We prove a →

deep neural networks residual networks boosting theory weak learning condition general multi-class resnets

发现论文，激发创造

深层 ResNets 是否能被证明比线性预测器更好？

本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域” 的深度无关上界。

Jul, 2019

深度残差网络和权重初始化

本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

Sep, 2017

基于残差网络感知的功能性梯度提升

本文利用函数梯度的概念，采用 ResNet 的梯度提升方法建立了一种名为 ResFGB 的新型分类任务方法，实验结果优于 LightGBM 等现有最先进的方法，具有较强的数据分析能力。

Feb, 2018

ResNet 为什么有效？残差可以泛化

本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

Apr, 2019

ResNet 解密

ResNet 是一种残差网络，利用快捷连接显著减少了训练的难度，同时在训练和泛化误差方面都实现了很好的性能提升，我们提供了快捷连接 2 的独特理论解释，它可以使训练非常深的模型与浅的模型一样容易，同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化，可以从不同的角度（最终损失、学习动态和稳定性，以及沿着学习过程的海森矩阵的行为）实现显着更好的结果。

Nov, 2016

残差连接鼓励迭代推断

研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

Oct, 2017

走向 Robust ResNet：迈出微小一步，跨越巨大一步

本文提出一种简单而有原则的方法来提高残差网络（ResNet）的鲁棒性，该方法基于动态系统视角，通过显式欧拉方法来控制 ResNet 的步幅 h，可以同时提高其训练和推广的稳健性。

Feb, 2019

多重残差网络：提高残差网络的速度和准确性

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

深度残差神经网络的分层并行训练

该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

Dec, 2018

从动力系统观点设计的多层残差网络

本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

Oct, 2017