通过优化现有的深度神经网络 (DNN)，减小模型大小并减少内存利用，提高硬件利用率，并在资源受限的边缘环境中便于设备内训练。在 Caltech-101 图像分类和 PCB 缺陷检测实验中，我们的模型表现优于原始模型 Xception 和轻量级模型 EfficientNetV2B1 和 MobileNetV2，在测试准确性、内存利用和训练推断时间等方面都取得了较好的结果，同时满足精确性和低内存利用率目标。

Mar, 2024

本文提出了一种有效的边缘计算推理方法，并探讨了在设备模型的计算成本和中间特征的通信成本之间进行的关键权衡。通过模型拆分点选择、通信感知模型压缩和任务导向的中间特征编码，提出了一个三步框架来有效地进行推理，实验结果表明，与基准方法相比，我们的提出的框架具有更好的权衡，可以显著减少推理延迟。

Jun, 2020

提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

Jun, 2018

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

本文介绍了一种基于神经网络的设备本地 (on-device) 学习方法，该方法能够在低端设备上提高边缘人工智能 (Edge AI) 应用的精确度并节省计算和通信成本，特别是在有噪声的环境下重训练 (retraining) 后可显著提高异物检测 (anomaly detection) 的准确性。

Mar, 2022

提出了一种轻量级的深度学习模型用于在钢铁制造行业中识别表面缺陷，与 MobileNet、Inception、ResNet 和 Vision transformers 等预训练卷积神经网络相比，该新模型具有更高的准确性和更快的推理速度，并采用了深可分离卷积，全局平均池化层和改进的架构高效性增强技术。

Aug, 2022

本文提出了一种在资源受限设备上部署和训练最先进模型的新解决方案，其中包括通过一种基于滤波修剪的模型压缩方法创造轻量级可训练模型，以及一种新型知识转移方法，允许在设备上的模型实时增量更新，并以无监督的方式通过云端模型学习新的类别。实验结果表明，该新方法可以在保持良好准确率的同时移除高达 99.36％的模型参数，并且允许在设备上的压缩模型在实时内收敛于增量学习任务并识别未见过的数据类别。

Jan, 2022

在过去的十年中，深度学习在自然语言处理、计算机视觉和生物医学信号处理等各个人工智能领域中占据主导地位。虽然模型的准确性有了显著提高，但将这些模型部署在移动手机和微控制器等轻量设备上受到资源限制的制约。本调查报告针对这些设备提供全面的设计指导，详细介绍了轻量模型的细致设计、模型压缩方法和硬件加速策略。本工作的主要目标是探索在不影响模型准确性的情况下克服硬件限制的方法和概念。此外，我们还探讨了未来轻量深度学习的两个值得关注的方向：TinyML 和大型语言模型的部署技术。尽管这些方向无疑具有潜力，但它们也带来了重大挑战，鼓励研究未开拓的领域。

Apr, 2024

本文研究了使用自定义架构和预训练模型来检测有缺陷铸造产品的性能和 CPU 延迟。实验结果表明自定义架构在性能上更高效，训练参数和模型大小也更小。同时，本研究证明针对数据集和分类问题专门设计的自定义模型才是部署在边缘和物联网设备上的理想选择。

May, 2022

本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

Jun, 2020