在资源受限边缘环境中使用有效参数削减实现帕累托最优

Mar, 2024

在资源受限边缘环境中使用有效参数削减实现帕累托最优

Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment

Atah Nuh Mih, Alireza Rahimi, Asfia Kawnine, Francis Palma, Monica Wachowicz...

TL;DR通过优化现有的深度神经网络 (DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在 Caltech-101 图像分类和 PCB 缺陷检测实验中，我们的模型表现优于原始模型 Xception 和轻量级模型 EfficientNetV2B1 和 MobileNetV2，在测试准确性、内存利用和训练推断时间等方面都取得了较好的结果，同时满足精确性和低内存利用率目标。

Abstract

This paper proposes an optimization of an existing deep neural network (DNN) that improves its hardware utilization and facilitates on-device tra

deep neural network hardware utilization on-device training parameter reduction strategies memory utilization

发现论文，激发创造

开发一种面向表面缺陷检测的资源受限边缘 AI 模型

我们提出了一种轻量级的 EdgeAI 架构，用于资源受限的边缘环境中的设备端训练，在 PCB 缺陷检测任务中展示出卓越的性能，同时在内存效率方面优于其他模型。

Dec, 2023

修复训练 - 测试分辨率不一致：FixEfficientNet

本篇论文通过对 EfficientNet 图像分类器的性能进行了详细分析，提出了一种修复训练集和测试集图像不一致问题的新训练方法 FixEfficientNet，并以 ImageNet 数据集进行了测试，证明了 FixEfficientNet 在相同参数下性能明显优于原始架构。

Mar, 2020

E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

Oct, 2019

金属铸造缺陷检测的高效神经网络方法

提出了一种轻量级的深度学习模型用于在钢铁制造行业中识别表面缺陷，与 MobileNet、Inception、ResNet 和 Vision transformers 等预训练卷积神经网络相比，该新模型具有更高的准确性和更快的推理速度，并采用了深可分离卷积，全局平均池化层和改进的架构高效性增强技术。

Aug, 2022

快速稀疏卷积神经网络

本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

Nov, 2019

EfficientNetV2: 更小的模型和更快的训练

本文介绍了 EfficientNetV2, 这是一种新的卷积网络家族，具有比以前的模型更快的训练速度和更好的参数效率，同时采用了神经结构搜索和缩放相结合的方法，以共同优化训练速度和参数效率。通过逐渐增加图像大小来训练，我们的 EfficientNetV2 在 ImageNet 和 CIFAR / Cars / Flowers 数据集上显著优于以前的模型。

Apr, 2021

EfficientNet: 重新思考卷积神经网络的模型缩放

本文系统研究了模型的缩放并提出了一种基于网络深度、宽度和分辨率的平衡方法，进而使用神经架构搜索设计了一种新的基线网络并扩展成一系列模型，称为 EfficientNets，这些 EfficientNets 在多项测试中取得了更好的准确性和效率，包括在 ImageNet 数据集上达到了 84.3% 的 top-1 准确率，在成为当前最佳的 ConvNet 的推理速度比其快 6.1 倍、参数更少的情况下，这是一个领先的结果。

May, 2019

训练高效的卷积神经网络：优化神经网络的基本组成部分，创造更轻、更快、更强韧的模型

本研究旨在回顾各种最先进技术，探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络，并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度，并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。

May, 2022

联合修剪与通道混合精度量化用于高效的深度神经网络

通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

Jul, 2024

一种面向边缘低延迟和高能效的 DNN 推理的转换自编码器

提出了一种基于自动编码器和轻量级 DNN 的新颖方法，用于在资源受限的边缘设备上减少推理时间和能源消耗，实验证明其在推理延迟上可以获得高达 4.8 倍的加速，并且在准确率方面保持相似或更高的情况下降低了 79％的能源使用。

Mar, 2024