本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

本文提出了一种设计方法，旨在分配在分布式 IoT 应用程序中卷积神经网络（CNNs）的执行。该方法在满足单元级内存和处理负载的约束条件下最小化数据采集阶段和随后的决策阶段之间的延迟。该方法支持多个数据源和多个 CNN 的执行，从而可以设计基于 CNN 的应用程序，要求具有自治性、低决策延迟和高服务质量。

Aug, 2019

本文介绍了 IntelCaffe 的高效推断技术以及用于深度学习模型优化的技术，它是第一个支持 8 位低精度推断的 Intel 优化深度学习框架，能够在 Intel Xeon Scalable 处理器上加速卷积神经网络的模型优化过程。该模型的 8 位优化模型可通过一次标定过程从 FP32 模型自动生成，无需进行微调或重新训练，其在 ResNet-50、Inception-v3 和 SSD 上的推断吞吐量和延迟分别提高了 1.38X-2.9X 和 1.35X-3X，精度损失可忽略不计，与 IntelCaffe FP32 基线相比，这些技术还使得吞吐量和延迟分别提高了 56X-75X 和 26X-37X。这些技术已在 IntelCaffe GitHub 进行了开源，并提供了 Amazon AWS Cloud 上重现结果的文物。

May, 2018

该研究提出了一种流式硬件加速器，通过避免不必要的数据移动和独特的滤波器分解技术，优化了能源效率，并支持任意卷积窗口大小和使用并行池化单元计算最大池化功能，进而实现了吞吐量的提高和较高的能效比，可在智能物联网设备中应用。

Jul, 2017

本文介绍了如何在内存受限的微控制器单元（MCU）上部署卷积神经网络（CNN），并提出了一种自动设计 CNN 的框架 Sparse Architecture Search，将神经架构搜索与剪枝相结合，通过在 IoT 数​​据集上的测试，证明了这种方法可以在满足 MCU 内存限制的同时实现更好的性能。

May, 2019

介绍了 CMSIS-NN，这是一种针对智能 IoT 边缘设备的 Arm Cortex-M 处理器开发的高效内核，可实现神经网络性能最大化和内存占用最小化，推断时 CMSIS-NN 内核基于神经网络的速度 / 吞吐量的改进为 4.6 倍，能效提高了 4.9 倍。

Jan, 2018

为了处理物联网 (IoTs) 中的传感器数据，本研究提出了一种嵌入式深度学习的重要技术，即 LSTM 细胞的优化，旨在实现端设备上的高效能推断。通过以交通速度预测为案例研究，利用优化的 LSTM 细胞的简单 LSTM 模型在 extit {XC7S15} FPGA 芯片上实现了每秒 17534 次的推断，每次推断仅消耗 3.8 微焦耳的能量。与现有方法相比，其吞吐量至少提高了 5.4 倍，能量效率提高了 1.37 倍。

Oct, 2023

本研究提出了一种名为 'NeoCPU' 的综合方法，通过对模板进行优化实现卷积神经网络模型的 CPU 推理，而不是依赖第三方库来实现模型图的单独操作优化，从而通过操作级别和图级别同时优化来进一步提高性能。实验结果表明，与当前各种流行 CPU 上的最先进实现相比，NeoCPU 的卷积神经网络模型推理延迟可降低 3.45 倍。

Sep, 2018

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

通过对 ARMv7 设备上现代深度学习工作负载所需的核心基本操作进行开源实现和全面分析，我们展示了与现有市场上的 float32 和 int8 基准相比，使用大于 4 位精度的最先进的超低精度技术可获得 4 倍至 20 倍的加速度。

Dec, 2017