基于 FPGA 设计的基于 CNN 的目标检测器中混合数据流和混合精度的分层优化

Sep, 2020

基于 FPGA 设计的基于 CNN 的目标检测器中混合数据流和混合精度的分层优化

Layer-specific Optimization for Mixed Data Flow with Mixed Precision in FPGA Design for CNN-based Object Detectors

Duy Thanh Nguyen, Hyun Kim, Hyuk-Jae Lee

TL;DR本文提出了一种针对卷积神经网络的硬件优化方案，该方案采用两种针对不同层次的特定优化法，实现不同的计算方式以提高性能，并在最大程度上减少了占用芯片的内存及对外部内存访问的需求，从而缓解了 CPU 的压力并大幅提升了处理速度。

Abstract

convolutional neural networks (CNNs) require both intensive computation and frequent memory access, which lead to a low processing speed and large power dissipation. Although the characteristics of the different layers in a CNN are frequently quite different, previous hardware designs

convolutional neural networks hardware optimization mixed data flow mixed precision fpga

发现论文，激发创造

FPGA 上高吞吐量混合精度 CNN 加速器设计

本文研究了深度神经网络在 FPGA 上的优化设计，提出使用多种精度量化来减少计算和数据传输成本，并成功实现了针对混合精度 CNN 的高效硬件加速器，能够达到高精度和高性能的权衡。

Aug, 2022

自动流程实现压缩卷积神经网络，以实现 FPGA 上的高效边缘计算

本文研究了一种从训练好的 TensorFlow 模型到基于 FPGA 的二值化卷积神经网络系统的自动流程，并在 Cyclone-V FPGA 设备上实现了二值化的 YOLOV2，通过在目标检测上的实验，证明了与 CPU 和移动 CPU 平台相比，在 FPGA 上进行二值化幻化的模型大小和推理速度都有显著的性能提升。

Dec, 2017

自由比特：边缘上混合精度量化神经网络的延迟优化

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

Dec, 2020

深度神经网络加速器中的量化和映射协同探索

卷积神经网络（CNN）的能效和内存占用取决于权重量化策略和映射，通过启用丰富的混合量化方案，我们可以找到更有效利用硬件资源的映射，从而在精度、能耗和内存要求之间取得更好的平衡。通过扩展 Timeloop 工具，提出了一种高效的多目标优化算法，实证了该方法在两种 CNN 和两种加速器上的有效性，并证明了相对于未经精心优化的 CNN 实现，可以实现高达 37% 的能量节省，而无需降低精度。

Apr, 2024

实现边缘智能动态卷积神经网络推理的探索

本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

通过约束优化实现神经网络混合精度量化

采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在 ImageNet 数据集和各种网络体系结构上得出了比现有方法更优的结果。

Oct, 2021

一种基于 FPGA 的加速器，实现对任意核大小的 CNN 的高效支持

使用 FPGA 的推断加速器，通过优化计算数据流、降低存储需求和优化卷积神经网络的部署，实现了支持任意核大小的卷积神经网络的高效部署，从而在各种基于视觉的应用中取得了卓越的性能。

Feb, 2024

通过资源分割最大化 CNN 加速器效率

提出了基于 FPGA 的卷积神经网络加速器范例和相应的自适应设计方法，该加速器范例将 FPGA 资源分割成多个处理器，提高卷积神经网络的计算效率和吞吐量

Jun, 2016

FPGA/DNN Co-Design: 物联网边缘智能的高效设计方法

本文提出了一种相结合的 FPGA/DNN 共同设计方法，包括自动设计流程和硬件优化的 DNN 模型搜索，结果表明在对象检测上该设计方案的 DNN 模型和加速器在交并比、帧数、功耗和能量效率等多个方面优于 GPU 解决方案。

Apr, 2019