通过即时权重生成在 CNN 引擎中缓解内存瓶颈效应

Jul, 2023

通过即时权重生成在 CNN 引擎中缓解内存瓶颈效应

Mitigating Memory Wall Effects in CNN Engines with On-the-Fly Weights Generation

Stylianos I. Venieris, Javier Fernandez-Marques, Nicholas D. Lane

TL;DR本文介绍了一种名为 unzipFPGA 的 CNN 推断系统，它通过引入权重生成模块实现了芯片上的实时权重生成，为小容量内存限制的层提供了更好的支持；此外，还介绍了一种自动化硬件感知的方法，将权重生成机制与目标 CNN 设备进行搭配，从而实现了更好的准确性和性能平衡；最后，还引入了一种输入选择性处理单元（PE）设计，平衡了子优化映射层的负载。该提议的框架在相同功耗约束下，与高度优化的 GPU 设计相比，实现了平均 2.57 倍的性能效率提升，同时在各种最先进的基于 FPGA 的 CNN 加速器中具有高达 3.94 倍的性能密度。

Abstract

The unprecedented accuracy of convolutional neural networks (CNNs) across a broad range of AI tasks has led to their widespread deployment in mobile and embedded settings. In a pursuit for high-performance and energy-efficient inference, significant research effort has been invested in

convolutional neural networks fpga-based cnn accelerators weights generation hardware design performance efficiency

发现论文，激发创造

unzipFPGA: 利用实时生成的权重增强基于 FPGA 的 CNN 引擎

本文研究了在 FPGA-based CNNs 中采用一种称为 on-the-fly 的方法来预处理卷积核的设计，提出了解决方案并开发了一个名为 unzipFPGA 的框架，通过量化评估得出结论：在容约束带宽和优化现状和 pruned CNN 的引擎下，unzipFPGA 的平均加速比为 2.14 倍，性能密度高达现有技术的 3.69 倍。

Mar, 2021

实现边缘智能动态卷积神经网络推理的探索

本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

FPGA 上高吞吐量混合精度 CNN 加速器设计

本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

Aug, 2022

一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

Feb, 2024

咖啡因 FPGA：用于卷积神经网络的 FPGA 框架

本文介绍了一种修改版 CNN 框架 Caffe，该框架支持 FPGA 实现，并使用 Xilinx SDAccel 环境实现了基于 FPGA 的 Winograd 卷积引擎，能够与其他运行在主机处理器上的层一起运行几个流行的 CNN 模型，取得了 50 GFLOPS 的成果。

Sep, 2016

卷积神经网络快速实时非重训练稀疏化

本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法，研究表明，这些方法能够使得最先进的模型权重减少高达 73％（压缩因子为 3.7 倍），而最多只会损失 5％的 Top-5 精度，附加的微调只能获得 8％的稀疏度，这表明我们的快速稀疏化方法是有效的。

Nov, 2018

f-CNN$^{ext {x}}$: 基于 FPGA 的多 CNN 应用映射工具流

该论文提出了一种自动化设计流程 f-CNN$^{ext {x}}$，用于在 FPGA 上映射多个 CNN，包括一个新的多 CNN 硬件架构和自动化设计空间探索方法，以考虑每个模型的性能要求来分配计算资源和生成可合成加速器。此外，f-CNN$^{ext {x}}$ 采用一种新的调度算法，可以缓解 CNN 之间的内存带宽争用限制，并维持架构的高利用率。实验评估表明，f-CNN$^{ext {x}}$ 的设计比不考虑争用的 FPGA 映射效果提高了多达 50％，并为多 CNN 系统提供了高达 6.8 倍的性能功耗比。

May, 2018

YodaNN: 超低功耗二进制卷积神经网络加速架构

本文介绍了一种用于二进制权重卷积神经网络的加速器，能够在 1.2V 下实现 1510 GOp/s 的运算，且在 0.6V 下消耗 895 μW 的功率。这个加速器比先前的最新技术在能量和面积效率方面都有很大的优势。

Jun, 2016

使用遗传算法改进 CNN 加速器的层间流水线

通过图形排序的遗传算法，我们开发了一种针对卷积神经网络的层融合技术，减少了边缘平台上的数据传输，从而提高了能效和能延迟乘积（EDP），在类似 SIMBA 移动架构上的 MobileNet-v3 中实现了 1.8 倍的能效提升和 1.9 倍的 EDP 改善。我们的方法对 SIMBA 平台和 Eyeriss 平台的工作负载性能一致改善，平均 EDP 改善 1.4 倍和 1.12 倍。

Nov, 2023

SMOF：基于智能离线驱逐的 FPGAs 上的流式现代 CNNs

该论文介绍了一种在计算流水线中引入权重和激活记忆机制的方法，从而扩展了基于流数据架构设计方法中的设计空间，实现了将现代卷积神经网络映射到具有有限芯片内存的设备上。此方法通过在计算流水线中将权重和激活数据驱逐到芯片外存储器中，充分利用计算和内存资源。通过该方法，该论文证明其在计算机视觉任务中具有竞争力，甚至在某些情况下表现出最先进的性能，较以前的方法提高了高达 10.65 倍的吞吐量。

Mar, 2024