本文介绍了 MicroNet，一种高效的卷积神经网络，利用极低的计算成本（例如，在 ImageNet 分类中为 6 MFLOPs）。这种低成本网络在边缘设备上非常受欢迎，但通常会遭受显著的性能下降。我们提出了 Micro-Factorized 卷积和 Dynamic Shift-Max 激活函数两个设计原则，为构建性能显著优于现有最佳法在低 FLOP 区间的 MicroNets 打下基础，例如，MicroNet-M1 在 ImageNet 分类中以 12 MFLOPs 为 6.1％，超过 MobileNetV3 的 11.3％。

Nov, 2020

通过提出局部卷积 (PConv) 和一种新的神经网络 FasterNet，实现了在广泛设备上获得比其他网络更快的运行速度，而不会牺牲各种视觉任务的准确性。

Mar, 2023

通过设计 LightNet 总体架构、抽象出 Meta Light Block、提高表示能力的空间运算器和提高初始块的通道运算器以及引入感受野的概念，我们提出了一个名为 FalconNet 的新颖轻量级卷积神经网络模型，实验结果表明，与现有的轻量级 CNN 相比，FalconNet 可以用较少的参数和 Flops 实现更高的准确性。

Jun, 2023

本文提出 ParameterNet 方法，使用动态卷积进行低 FLOPs 网络的大规模视觉预训练，实验结果在 ImageNet-22K 数据集上表明 ParameterNet 能够让低 FLOPs 模型从大规模视觉预训练中获益，在 0.6G FLOPs 下可以达到比广泛使用的 Swin Transformer 更高的精度。

Jun, 2023

本文扩展了一种最先进的技术，将 FLOPs 直接纳入优化目标，证明不同神经网络能够成功地训练图像分类，从而满足对 FLOPs 需求的指定目标的系统约束。

Nov, 2018

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

我们推出了一种名为 ShuffleNet 的极度计算效率的卷积神经网络体系结构，专门为计算能力非常有限（例如 10-150 MFLOPs）的移动设备设计。该体系结构利用了两个新操作，即逐点组卷积和通道混洗，以大大降低计算成本，同时保持准确性。在 ImageNet 分类和 MS COCO 对象检测方面的实验表明，ShuffleNet 的性能优于其他结构，在 40 MFLOPs 的计算预算下，Top-1 错误率（绝对 7.8％）低于近期 MobileNet 的 ImageNet 分类任务。在基于 ARM 的移动设备上，ShuffleNet 实现了与 AlexNet 相比约 13 倍的实际加速，同时保持可比的准确性。

Jul, 2017

本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

Jan, 2018

提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020

本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

Apr, 2020