本文提出了在中间神经网络层引入数据增强以改善卷积神经网络不适用于少量像素旋转或平移的问题，并证明该方法比已有的两种方法获得更好的精度和平均翻转比。

Feb, 2022

本文提出了一种残差学习框架，以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务，以及在 COCO 目标检测数据集上取得了 28% 的相对提升。

Dec, 2015

本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案，最终展示了高达 90％的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术，使得在相同的固定训练预算下，使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5％的准确率，类似于 ResNet-152。

Nov, 2017

本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

Nov, 2016

本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

Apr, 2018

本篇论文主要研究了如何利用适当分解卷积和激进的正则化等方法，使卷积神经网络计算效率最大化，并以 ILSVRC2012 分类挑战作为基准，报告了使用少于 2500 万参数的 5 亿乘加运算成本的网络，评估单帧评估的 top-1 误差 21.2％和 top-5 误差 5.6％的显著成果。

Dec, 2015

本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

Sep, 2016

在这篇论文中，我们研究了密集连接卷积网络（DenseNets）的效果，并发现其在流行的 ResNet 风格架构中被低估。我们通过串联密集连接的方式展示了 DenseNets 的优势，并且进行了架构调整、块重设计和改进训练方法以提高 DenseNets 的性能和内存效率。我们的模型不仅超越了 Swin Transformer、ConvNeXt 和 DeiT-III 等关键架构，还在 ImageNet-1K 等领域展现了接近最新模型的性能，包括 ADE20k 语义分割和 COCO 目标检测 / 实例分割任务。最后，我们提供了以经验为基础的分析结果，揭示了串联连接胜过加法连接的优点，从而引导人们重新偏好 DenseNet 风格的设计。

Mar, 2024

本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。

Nov, 2018

本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

Apr, 2018