SMOF：基于智能离线驱逐的 FPGAs 上的流式现代 CNNs

Mar, 2024

SMOF：基于智能离线驱逐的 FPGAs 上的流式现代 CNNs

SMOF: Streaming Modern CNNs on FPGAs with Smart Off-Chip Eviction

Petros Toupas, Zhewen Yu, Christos-Savvas Bouganis, Dimitrios Tzovaras

TL;DR该论文介绍了一种在计算流水线中引入权重和激活记忆机制的方法，从而扩展了基于流数据架构设计方法中的设计空间，实现了将现代卷积神经网络映射到具有有限芯片内存的设备上。此方法通过在计算流水线中将权重和激活数据驱逐到芯片外存储器中，充分利用计算和内存资源。通过该方法，该论文证明其在计算机视觉任务中具有竞争力，甚至在某些情况下表现出最先进的性能，较以前的方法提高了高达 10.65 倍的吞吐量。

Abstract

convolutional neural networks (CNNs) have demonstrated their effectiveness in numerous vision tasks. However, their high processing requirements necessitate efficient hardware acceleration to meet the application's performance targets. In the space of →

convolutional neural networks fpgas streaming-based dataflow architectures on-chip memory off-chip memory

发现论文，激发创造

通过即时权重生成在 CNN 引擎中缓解内存瓶颈效应

本文介绍了一种名为 unzipFPGA 的 CNN 推断系统，它通过引入权重生成模块实现了芯片上的实时权重生成，为小容量内存限制的层提供了更好的支持；此外，还介绍了一种自动化硬件感知的方法，将权重生成机制与目标 CNN 设备进行搭配，从而实现了更好的准确性和性能平衡；最后，还引入了一种输入选择性处理单元（PE）设计，平衡了子优化映射层的负载。该提议的框架在相同功耗约束下，与高度优化的 GPU 设计相比，实现了平均 2.57 倍的性能效率提升，同时在各种最先进的基于 FPGA 的 CNN 加速器中具有高达 3.94 倍的性能密度。

Jul, 2023

咖啡因 FPGA：用于卷积神经网络的 FPGA 框架

本文介绍了一种修改版 CNN 框架 Caffe，该框架支持 FPGA 实现，并使用 Xilinx SDAccel 环境实现了基于 FPGA 的 Winograd 卷积引擎，能够与其他运行在主机处理器上的层一起运行几个流行的 CNN 模型，取得了 50 GFLOPS 的成果。

Sep, 2016

实现边缘智能动态卷积神经网络推理的探索

本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

unzipFPGA: 利用实时生成的权重增强基于 FPGA 的 CNN 引擎

本文研究了在 FPGA-based CNNs 中采用一种称为 on-the-fly 的方法来预处理卷积核的设计，提出了解决方案并开发了一个名为 unzipFPGA 的框架，通过量化评估得出结论：在容约束带宽和优化现状和 pruned CNN 的引擎下，unzipFPGA 的平均加速比为 2.14 倍，性能密度高达现有技术的 3.69 倍。

Mar, 2021

自动流程实现压缩卷积神经网络，以实现 FPGA 上的高效边缘计算

本文研究了一种从训练好的 TensorFlow 模型到基于 FPGA 的二值化卷积神经网络系统的自动流程，并在 Cyclone-V FPGA 设备上实现了二值化的 YOLOV2，通过在目标检测上的实验，证明了与 CPU 和移动 CPU 平台相比，在 FPGA 上进行二值化幻化的模型大小和推理速度都有显著的性能提升。

Dec, 2017

基于 FPGA 设计的基于 CNN 的目标检测器中混合数据流和混合精度的分层优化

本文提出了一种针对卷积神经网络的硬件优化方案，该方案采用两种针对不同层次的特定优化法，实现不同的计算方式以提高性能，并在最大程度上减少了占用芯片的内存及对外部内存访问的需求，从而缓解了 CPU 的压力并大幅提升了处理速度。

Sep, 2020

fpgaHART: 一种用于将 3D CNNs 加速到 FPGA 上的吞吐量导向的 HAR 工具流

研究提出一种工具流程，将 3D CNN 模型优化到 FPGA 设备上，采用同步数据流图来模拟设计并引入转换来拓展和探索设计空间，以实现高吞吐量设计。在多个 FPGA 设备上评估了各种 3D CNN 模型，证明了与早期手动调整和特定模型的设计相比，该工具流程具有竞争性的性能。

May, 2023

用于物联网的可重构流式深度卷积神经网络加速器

该研究提出了一种流式硬件加速器，通过避免不必要的数据移动和独特的滤波器分解技术，优化了能源效率，并支持任意卷积窗口大小和使用并行池化单元计算最大池化功能，进而实现了吞吐量的提高和较高的能效比，可在智能物联网设备中应用。

Jul, 2017

一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

Feb, 2024

基于 FPGA 的混合高效卷积算法的人脸识别

本研究通过探索多种快速卷积算法，包括 Winograd 和 FFT，并发现了一种将它们应用于不同类型卷积的最佳策略；实现在基于高级综合的可配置 IP 人脸识别加速系统中使用 FaceNet，并利用并行化的优化方案在新型 CNN 体系结构上，实现比高端 NVIDIA GPU 快 3.75 倍的延迟加速，并显著超过先前的 FPGA 结果。

Mar, 2018