May, 2023

刺激式训练 ++：超越残差网络的性能极限

PDF
TL;DR本文从社会心理学的角度重新研究了残差网络的训练过程，提出了一种新的训练模式和三种改善残差网络性能的策略。作者发现残差网络内的子网络在群体中工作时更容易失去动力，称之为 “网络懒汉现象”，并提出了 “激励式训练” 等新的训练方法和三种简单有效的策略来解决这个问题。实验证明，这些方法都能够有效地提升残差网络的性能。
发现论文，激发创造
  • 残差网络的激发性训练：一种社会心理学视角的懒惰现象

    通过重新审视残差网络训练过程的社会心理学角度，我们发现残差网络普遍存在类似社会懒惰问题的 “网络懒惰” 问题，并进一步提出了 “刺激训练” 策略来加强残差网络的性能。具体地，我们使用 KL 散度损失来作为残差子网络的额外监督，以使整体目标与局部目标一致，并取得了实验结果验证。

    Oct, 2022

  • 利用群体知识增强残差网络

    通过隐式集成模型的新视角理解残差网络，并提出一种基于知识分组的训练框架，通过子网络采样和训练来提高残差网络的性能和效率。

    Aug, 2023

  • 剖析残差学习的内幕

    通过发现神经网络中的 “消散输入” 现象，我们揭示了残差学习背后的基本原理，从而解决了深度可扩展的普通神经网络训练中收敛失败的挑战，并提出了 “普通神经网络假设”（PNNH）来支持无残差连接的深度普通神经网络训练，通过在流行的视觉基准测试中对 PNNH 启用的 CNN 架构和 Transformers 进行全面评估，并展示了与 ResNets 和视觉 Transformers 相比的相当准确性、高达 0.3% 更高的训练吞吐量和 2 倍更好的参数效率。

    Feb, 2024

  • 残余网络的随机训练：微分方程视角

    本文研究了基于改进方程的方法，表明残差网络及其变体可以被视为弱逼近随机微分方程。从损失景观的角度提供了关于正则化效应的新视角，并为设计更可靠和高效的随机训练策略提供了启示。我们提出了一种利用伯努利丢弃来进行实验的新方法，从而验证了我们的理论发现。

    Dec, 2018

  • 残差网络的损失函数表面：集成和批归一化的作用

    本文表明深残差网络（Deep Residual Networks）可以视作一系列相对较浅网络的集合，并通过广义自旋玻璃模型分析其优化过程中的临界点数量及 Batch Normalization 技术等因素对网络深度动态变化的影响。

    Nov, 2016

  • 使用 Boosting 理论顺序学习深层 ResNet 块

    本文针对深度神经网络训练的不稳定性，提出具有强学习能力的 ResNet 架构，并在该条件下证明了 ResNet 的 Boosting 理论，同时提出 BoostResNet 训练算法来刻画 “浅层 ResNet” 的序列训练，推导出了 ResNet 的弱学习条件，并证明在深度为 $T$ 时，训练的误差随着 $T$ 指数下降。基于边缘理论证明了广义分类 ResNet 的泛化误差上限，并建议 ResNet 对边缘带 $l_1$ 约束的权重具有抵抗过拟合的能力。

    Jun, 2017

  • 残差网络表现得像相对较浅的网络集合

    本文提出了新颖的残差网络解释方式，将其看作是许多不同长度路径的集合，并且只需要在训练过程中利用短路径就可以实现很深的网络。通过病变研究，揭示了残差网络中路径呈现集合的行为，不是强依赖于彼此。

    May, 2016

  • 从动力系统观点设计的多层残差网络

    本文提出使用动力学系统视角来分析残差网络损伤特性，基于这些分析引入一种新的方法来加速残差网络的训练，并将该方法应用于图像分类等多个任务。

    Oct, 2017

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • 规范化保存：为什么残差网络可以变得非常深？

    这份研究分析了 ResNet 的跳跃连接的效应，并提出了新理论结果，证明残差块中的跳跃连接方便保留梯度的范数，并导致稳定的反向传播，这是从优化的角度来看是可取的。研究还提出了一种新方法，Procrustes ResNets，来优化 ResNet 的过渡层，使其范数保持得更好。这些结果可以用来训练更深的网络，并启发新的深层网络架构。

    May, 2018