深度学习中极简主义的力量:VanillaNet
提出了一种简单的卷积神经网络架构 (SimpleNet),在保持计算和内存效率的同时,具有与更复杂的 CNN 相媲美的性能,在多个基准测试中表现出色,包括 CIFAR-10,MNIST,CIFAR-100 和 SVHN,甚至在 ImageNet 数据集中也优于许多更大更深的 CNN 模型。
Aug, 2016
本研究重新审视设计空间,逐步将标准 ResNet 现代化为 Vision Transformer 的设计,发现了几个关键组件,并发现纯 ConvetNets 模型家族 ConvNeXt 可以在精度和可伸缩性方面与 Transformer 竞争,在 ImageNet 的 top-1 准确率方面达到了 87.8%,并在 COCO 检测和 ADE20K 分割上优于 Swin Transformer 。
Jan, 2022
本文介绍了一些基于最近深度学习的集体知识挖掘的神经网络结构设计原则,并提出了 FractalNet、Stagewise Boosting Networks 和 Taylor Series Networks 等创新型架构。
Nov, 2016
通过利用预训练模型的能力,我们提出了一个基于基线(即拿来即用)的解决方案,以持续学习计算机视觉问题,并设计了一种简单的方法,在大多数常见基准测试中实现强大性能。
May, 2022
通过研究深度神经网络中的残差连接,提出了一种平行浅层架构的替代方案,通过在 Taylor 级数表达式中截断高阶项,发现广而浅的网络架构在性能上与传统的深层架构相当,这一发现有望简化网络架构、提高优化效率并加速训练过程。
Sep, 2023
该研究对深度回归技术进行了系统评估和统计分析,基于四个视觉问题的实验,结果表明使用经典的深度学习网络结构(例如 VGG-16 或 ResNet-50),并在数据预处理上进行适当的调整可以获得接近最先进水平的结果,同时相比于网络结构的改变,数据预处理的差异对结果的影响更大。
Mar, 2018
介绍了基于 ImageNet 预训练的卷积神经网络(CNNs)在最先进的方法中的应用,提出了一组新的基于 Caffe 框架的著名最新结构的预训练模型,并且包括 ResNets、AlexNet 和 VGG19 的批归一化变体等模型,优于以前的具有相同架构的模型。
Dec, 2016
本文对深度神经网络在计算机视觉领域中的重要应用指标进行全面分析,发现能耗与批次大小和架构无关,准确度和推断时间在双曲线关系中,能源约束是最大可实现准确度和模型复杂度的上限,操作次数是推断时间的可靠估计。
May, 2016