本文介绍了 MicroNet，一种高效的卷积神经网络，利用极低的计算成本（例如，在 ImageNet 分类中为 6 MFLOPs）。这种低成本网络在边缘设备上非常受欢迎，但通常会遭受显著的性能下降。我们提出了 Micro-Factorized 卷积和 Dynamic Shift-Max 激活函数两个设计原则，为构建性能显著优于现有最佳法在低 FLOP 区间的 MicroNets 打下基础，例如，MicroNet-M1 在 ImageNet 分类中以 12 MFLOPs 为 6.1％，超过 MobileNetV3 的 11.3％。

Nov, 2020

本论文提出了两种新的方法 —— 微型分解卷积和动态移位最大化激活函数，并将其应用在一种新型网络 MicroNet 中，使得在低计算复杂度条件下，ImageNet 分类任务 top-1 精度能够比 MobileNetV3 高出 9.6 个百分点。

Aug, 2021

使用全卷积网络进行运算符逼近可以显著提高逼近精度，降低运行时间和内存开销。在输入输出对上的训练可以将原始运算符逼近，并且可以对多种不同的高级图像处理运算符进行逼近，包括多种变分模型、多尺度调节和明暗细节操作等。

Sep, 2017

通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。

Dec, 2018

本文扩展了一种最先进的技术，将 FLOPs 直接纳入优化目标，证明不同神经网络能够成功地训练图像分类，从而满足对 FLOPs 需求的指定目标的系统约束。

Nov, 2018

通过结构化剪枝方法，利用局部敏感哈希检测通道维度的冗余来压缩潜在特征图，使用 HASTE 模块可以在不需要训练或微调的情况下，即刻降低网络的测试推理成本，有效减少近 47% 的浮点运算量而只损失 1.25% 的准确性。

Sep, 2023

本文提出 ParameterNet 方法，使用动态卷积进行低 FLOPs 网络的大规模视觉预训练，实验结果在 ImageNet-22K 数据集上表明 ParameterNet 能够让低 FLOPs 模型从大规模视觉预训练中获益，在 0.6G FLOPs 下可以达到比广泛使用的 Swin Transformer 更高的精度。

Jun, 2023

本研究旨在通过采用极低精度（2 位）权重网络，并在零值上进行操作跳过以提高计算效率和性能，以在低精度网络下获得更高精度。实验结果表明，与全精度网络相比，在并非影响相似准确度的情况下，计算需求降低了约 3 倍，且在 Imagenet 物体分类挑战上取得了最高报道准确度。为了充分利用低精度网络优势，研究小组开发了一种深度学习加速器核心 dLAC，可实现每平方毫米单精度浮点运算的 TFLOP 当量，半精度时可达到每平方毫米的 2 个 TFLOP。

Oct, 2016

本研究介绍一系列的体系结构修改，旨在提高神经网络的准确性，并保留其 GPU 训练和推理效率，最终引入了一种新的 GPU 专用模型 TResNet，其在 ImageNet 上达到了 80.8 的 Top-1 准确度，并在其他常见图像分类基准测试中达到领先水平。

Mar, 2020

本文提出一种自动修剪方法来减少神经网络中的 FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的 FLOPs。

Nov, 2021