通过对 ResNet 模块架构的详细实验研究,本文提出了一种新的网络架构 —— 宽残差网络 (WRNs),通过降低深度、增加宽度优化 ResNet 网络,证明其在准确度和效率上优于传统的浅而深层的残差网络模型,实现了在 CIFAR, SVHN, COCO 以及 ImageNet 等数据集上的准确度和效率的新突破。
May, 2016
本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络,该网络比原始网络更小,能够根据输入图像的复杂性调整计算成本。
Apr, 2018
从一种大型的 ResNet152 骨干网络开始,本文通过将其从 51 个块降至 5 个块,将参数和 FLOPs 的数量降低了 6 倍以上,同时保留了性能,然后在 3 个块之后将模型分割为多个分支,创建一个子网络组合以提高性能。在 40 个图像分类数据集上的实验证明,本文的技术在与 “经典骨干微调” 相当甚至更好的性能的同时,实现了更小的模型尺寸和更快的推理速度。
Oct, 2023
本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类,通过一些训练策略和合适的超参数,最终测试准确率达到 96.04%。
Jun, 2023
本文提出一种名为 epsilon-ResNet 的深度学习网络,通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能,同时减少了 80% 左右的参数数量。
本篇论文分析了 ResNet 的简化模型,并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外,本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力,而无需调整初始权重值。
Sep, 2017
本文提出了一种新的卷积神经网络架构,该架构通过扩展残差网络的层数,明确利用非常深网络的集成表现,并使模型变宽而不是更深,从而显著提高了准确性。受多元残差网络的并行结构启发,本研究还探讨了一种模型并行技术,该技术使残差块的计算分布在处理器之间,计算复杂度提高了 15%。最后,我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。
Sep, 2016
ResNet 是一种残差网络,利用快捷连接显著减少了训练的难度,同时在训练和泛化误差方面都实现了很好的性能提升,我们提供了快捷连接 2 的独特理论解释,它可以使训练非常深的模型与浅的模型一样容易,同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化,可以从不同的角度(最终损失、学习动态和稳定性,以及沿着学习过程的海森矩阵的行为)实现显着更好的结果。
Nov, 2016
本文提出了一种残差学习框架,以优化超过 VGG 网络 8 倍深度的残差网络在 ImageNet 数据集上的分类任务,以及在 COCO 目标检测数据集上取得了 28% 的相对提升。
Dec, 2015
本文探讨增加深度对神经网络性能提升的边际效益递减问题,提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。