重新思考瓶颈结构以实现高效的移动网络设计
本研究提出了新的 MobileNetV2 架构,通过在多个任务和基准上的性能改进,跨不同模型尺寸范围提高了移动模型的性能;此外,通过称为 SSDLite 的新颖框架来应用这些移动模型进行目标检测;最后,我们构建轻量级的 Mobile DeepLabv3 来进行移动语义分割。
Jan, 2018
本文提出了一种名为 “不对称瓶颈” 的新型卷积神经网络模块设计,它采用调整第一次卷积层维度、特征重用和计算迁移等手段来优化紧凑型 CNN 的性能,通过实验证明,在移动网络和超轻量级 CNNs 中使用该设计可以比之前的设计进一步提高网络的精度,代码可在给出的网址中查看。
Apr, 2021
MobileTL 是一种在有限资源的边缘设备上进行优化的迁移学习模型,通过训练内部归一化层的偏移量、简化激活函数反向计算及仅微调少量高层的方法,实现了 IRBs 模型的高效存储和计算,可以在边缘设备上快速实现复杂的迁移学习。
Dec, 2022
本研究展示了传统的 ResNet 模型可以被做成可逆的,这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是,我们的方法只需要在训练时增加一个简单的归一化步骤,而不需要将维度分割或限制网络结构。作为一种生成模型,可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然,我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明,可逆 ResNet 在严格意义下表现出色,达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。
Nov, 2018
通过神经结构搜索,将传统卷积与倒置瓶颈层相结合并在移动设备上进行物体检测,能够在保证相对较低的延迟下,实现更高的性能,相对于 MobileNetV3+SSDLite,MobileDets 在 COCO 目标检测任务上能够提高 1.7 mAP。
Apr, 2020
本研究探索如何为嵌入式计算系统设计轻量级 CNN 架构,提出了适用于基于 ZYNQ 硬件平台的 L-Mobilenet 模型。L-Mobilenet 可以很好地适应硬件计算和加速,并且其网络结构受到 Inception-ResnetV1 和 MobilenetV2 等最先进技术的启发,能够有效减少参数和延迟,同时保持推理的准确性。通过在 cifar10 和 cifar100 数据集上进行测量,L-Mobilenet 模型相比 MobileNetV2 速度提升了 3 倍,参数减少了 3.7 倍,同时保持了类似的准确性。相较于 ShufflenetV2,L-Mobilenet 模型速度提升了 2 倍,参数减少了 1.5 倍,同时保持了相同的准确性。实验证明,由于对硬件加速和软硬件协同设计策略的特殊考虑,我们的网络模型能够获得更好的性能。
Mar, 2024
本文提出了一种新的基本架构模块 ANTBlock,以提高网络的表征能力,同时具有较低的计算成本和参数数量。在多个数据集上进行测试结果表明,ANTNet 在性能上优于基于移动设备低成本的卷积神经网络,其利用两层卷积之间通道间的关联性,进一步优化网络的表征能力。
Apr, 2019
我们介绍了最新一代的 MobileNets, 称为 MobileNetV4 (MNv4), 具有超高效的移动设备架构设计。我们引入了 Universal Inverted Bottleneck (UIB) 搜索块,这是一种统一而灵活的结构,融合了 Inverted Bottleneck (IB), ConvNext, Feed Forward Network (FFN), 以及一种新颖的 Extra Depthwise (ExtraDW) 变体。此外,我们还提出了 Mobile MQA,一种专为移动加速器量身定制的注意力块,可实现 39% 的加速。同时,我们引入了优化的神经架构搜索(NAS)方法,提高了 MNv4 的搜索效率。UIB,Mobile MQA 以及优化后的 NAS 方法的整合使得我们的 MNv4 模型成为大部分在移动 CPU、DSP、GPU 以及专用加速器(如 Apple Neural Engine 和 Google Pixel EdgeTPU)上都达到 Pareto 最优的模型,这是其他模型不具备的特点。最后,为了进一步提高准确性,我们引入了一种新颖的蒸馏技术。利用这种技术增强,我们的 MNv4-Hybrid-Large 模型在 Pixel 8 EdgeTPU 上只需 3.8ms 的运行时间,达到了 87% 的 ImageNet-1K 准确性。
Apr, 2024
本文介绍了 BlockDrop,利用强化学习选择执行深层网络的哪些层,以最大限度地减少总计算量而不降低预测准确性。实验证明,该模型不仅可以加速推断,还可以编码有意义的视觉信息,最高可使 ImageNet 速度提高 36%,并保持与原模型相同的精确度。
Nov, 2017
本文介绍了一种名为 “宽残差 Inception”(WR-Inception)的神经网络模型,它采用深层和宽层,结构基于残差 Inception 单元,捕获同一要素图上各种大小的对象。为验证该模型的有效性,本文进行了两项实验:在 CIFAR-10 / 100 上的分类任务和在 KITTI 数据集上使用单发多框检测器(SSD)进行路面物体检测任务。
Feb, 2017