高效的 ResNets: 残差网络设计
本文提出了一种新的卷积神经网络架构,该架构通过扩展残差网络的层数,明确利用非常深网络的集成表现,并使模型变宽而不是更深,从而显著提高了准确性。受多元残差网络的并行结构启发,本研究还探讨了一种模型并行技术,该技术使残差块的计算分布在处理器之间,计算复杂度提高了 15%。最后,我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。
Sep, 2016
介绍了一个深度双流架构 Resnet in Resnet(RiR),该架构推广了 Residual networks(ResNets)和标准 CNNs,且无计算开销,通过在 CIFAR-10 上实现,RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果
Mar, 2016
本文提出了一种残差学习框架,以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务,以及在 COCO 目标检测数据集上取得了 28% 的相对提升。
Dec, 2015
本文通过共享同一空间尺度下的残差块中卷积层的权重,提出了一种名为 ShaResNet 的深度残差网络,使网络参数得到显著减少,同时在图像分类任务中保证了准确率。
Feb, 2017
本文探讨了在 petaflop 级超级计算机上训练 ResNet-50 的挑战和新解决方案,最终展示了高达 90%的扩展效率和 28 分钟的训练时间。同时介绍了 Collapsed Ensemble (CE) 技术,使得在相同的固定训练预算下,使用未修改的 ResNet-50 拓扑结构可以获得高达 77.5%的准确率,类似于 ResNet-152。
Nov, 2017
本文提出一种名为 epsilon-ResNet 的深度学习网络,通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能,同时减少了 80% 左右的参数数量。
Apr, 2018
卷积神经网络在大量标记数据可用时表现出广泛的适用性,然而近期的研究为更大规模的模型是否能够推广到受控训练和测试集之外的数据提出了质疑。本文研究了 ResNet 模型中隐藏层数量对 MNIST、CIFAR10 和 CIFAR100 数据集的影响,并通过使用特制样本逼近期望的失败率来测试模型的预测能力和计算成本,发现更大规模的模型在提高对抗鲁棒性方面并没有显著帮助,但训练成本却显著增加。
Jan, 2024
通过对 ResNet 模块架构的详细实验研究,本文提出了一种新的网络架构 —— 宽残差网络 (WRNs),通过降低深度、增加宽度优化 ResNet 网络,证明其在准确度和效率上优于传统的浅而深层的残差网络模型,实现了在 CIFAR, SVHN, COCO 以及 ImageNet 等数据集上的准确度和效率的新突破。
May, 2016
本文重新评估了使用新的优化和数据增强方法训练的基准 ResNet-50 模型的性能,并以此为基线,在 ImageNet 数据集上获得了 80.4%的 top-1 准确率,同时提供了预训练模型和更好的训练设置。
Oct, 2021