一种具有极限边缘智能设备学习能力的精确可扩展 RISC-V DNN 处理器

Sep, 2023

一种具有极限边缘智能设备学习能力的精确可扩展 RISC-V DNN 处理器

A Precision-Scalable RISC-V DNN Processor with On-Device Learning Capability at the Extreme Edge

Longwei Huang, Chao Fang, Qiong Li, Jun Lin, Zhongfeng Wang

TL;DR提出了一种支持多种精度的定点深度神经网络推断和增强设备上学习能力的精度可伸缩的 RISC-V DNN 处理器，通过改进硬件资源利用率，显著提高推断吞吐量和能效，并实现 16.5 倍更高的设备上学习的浮点吞吐量。

Abstract

extreme edge platforms, such as in-vehicle smart devices, require efficient deployment of quantized deep neural networks (DNNs) to enable intelligent applications with limited amounts of energy, memory, and compu

extreme edge platforms quantized deep neural networks on-device learning risc-v dnn processor inference throughput

发现论文，激发创造

深度神经网络的降低精度浮点数优化：在微控制器上进行设备端学习

本文提出了一种降低 MCU 类设备上计算量的新型优化技术，使用支持矢量化 16 位浮点 SIMD 操作的 RISC-V RV32 架构，加速了前向和后向传递算法，其计算效率比现有 ODL 软件框架快两个数量级，并且在持续学习设置中比以前的 FP32 并行实现快 1.6 倍。

May, 2023

混合专家混合精度神经网络的调优

通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

Sep, 2022

量化卷积神经网络以用于低功耗高吞吐量推理引擎

本文提出了一种量化方案，通过在参考浮点模型上校准而不是重新训练来确定量化方案参数，从而实现了基于更高效的算术进行推理，并且在量化后的结果中，终端到终端精度可与基准模型相当。

May, 2018

量子化神经网络的简化部署

本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

Sep, 2017

基于 FPGA 的深度神经网络实现，仅使用芯片内存

本研究开发了一种基于 FPGA 的定点深度神经网络系统，实现了手写数字识别和音素识别任务，相较于基于 GPU 的系统有更高的效率和更低的功耗。

Feb, 2016

实现边缘智能动态卷积神经网络推理的探索

本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

基于内存的混合低精度量化，实现微控制器上深度网络推断

本文提出了一种新颖的端到端方法，用于在微控制器上部署低误差的深度神经网络，通过混合低位宽压缩，结合 8、4 或 2 位均匀量化，以整数运算来建模推理图，旨在确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制，通过一个基于规则的迭代过程，运用量化感知的重训练，将虚假量化图转换为整数推理模型，使用整数通道归一化 (ICN) 图层将该模型部署到只有 2MB 的 FLASH 存储器和 512kB 的 RAM 设备上，并报告了基于 STM32H7 微控制器的混合精度 MobilenetV1 家族网络的延迟 - 精度评估结果，实验结果表明，相比于之前发表的微控制器 8 位实现，Top1 精度提高了 8％，达到了 68％。

May, 2019

准确、无乘法的深度神经网络的硬件 - 软件协同设计

通过动态定点数编程，将深度神经网络（DNNs）从浮点数向量转换为 8 位定点数，从而实现低功耗和能耗，并增加分类准确性。

May, 2017

采用超低比特量化和运行时技术加速在 Arm CPU 上的深度学习模型推理

介绍了 Deeplite Neutrino 以及 Deeplite Runtime 来优化深度学习模型，并在 Arm-based 平台上部署超低比特量化模型。使用向量化，并行化和瓦片化高效实现，这些实现与 TensorFlow Lite 比较，分类和检测模型的速度提高了 2 倍和 2.2 倍，与 ONNX Runtime 比较，分类和检测模型的速度提高了 5 倍和 3.2 倍。

Jul, 2022

DNNVM: FPGA-based CNN 加速器上利用异构优化的端到端编译器

本文提出了用于深度学习框架的全栈编译器 DNNVM，通过优化图表现形式、循环和数据布局、关键算法和支持验证等，将复杂的 CNN 模型转换成有向无环图（XGraph）并利用启发式子图同构算法枚举所有潜在的融合机会，并在全计算图中搜索执行策略的最佳选择，在 Xilinx ZU9 @330 MHz 等设备上实现了与最新算法同等状态的性能，最终在 VGG 和 ResNet50 上达到了最先进的性能。

Feb, 2019