增加FPGA实现事件驱动视觉的图卷积的可扩展性
本文提出了一个使用Synchronous Dataflow(SDF)模型的端到端框架fpgaConvNet,该框架可用于将卷积神经网络(ConvNets)映射到FPGAs上,实现了对性能度量的有效优化,并在嵌入式环境中将性能提高了最高6.65x。
Nov, 2017
本文综述了现有的CNN-to-FPGA工具流,包括应用支持、架构选择、设计空间探索方法和性能等关键特性的比较研究,提出了最新CNN算法研究引入的主要挑战和目标,并提出了一种统一的评估方法,旨在全面、完整和深入地评估CNN-to-FPGA工具流。
Mar, 2018
通过 CPU-FPGA 异构系统,我们设计了一种新型加速器,通过算法-架构协同优化,提升 Graph Convolutional Networks 训练的速度。我们采用子图算法,优化特征传播,并提出基于 systolic array 的设计,实现了如此高效的加速。在 Xilinx Alveo U200 及 40 核 Xeon 服务器上,我们的设计比现有多核平台的最新实现快一个数量级,且几乎没有精度损失。
Dec, 2019
最近在事件相机研究中,通过使用原始稀疏形式的数据进行处理,凭借其独特的特点(如高时间分辨率、高动态范围、低延迟和抗图像模糊性),取得了一些进展。其中,基于图卷积网络(GCNs)的事件数据分析方法令人期待。然而,在该领域的当前研究主要集中在优化计算成本上,却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素,进行了不同图卷积操作的比较分析,结果显示,相较于最先进方法使用的操作,特征提取模块的参数数量减少了450倍,数据表示的大小减少了4.5倍,同时保持了52.3%的分类准确率,比最先进方法提高了6.3%。为了进一步评估性能,我们实现了目标检测体系结构,并在N-Caltech101数据集上评估了其性能,结果显示其在0.5的mAP下达到了53.7%的准确率,并达到了每秒82个图的执行速度。
Jul, 2023
通过FPGA设备实现高分辨率事件数据流(HD-1280 x 720像素)的累积与投影,研究探索了该方法的可行性、挑战、限制和权衡,并与AMD Xilinx等平台上的可用数据表示进行了比较。所得的事件帧可以用于经典和深度神经网络方法的目标分类与检测等视觉算法。
Jul, 2023
本文介绍了一个从事件相机数据流中生成图形的硬件实现过程,通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能,并提出了基于图形生成模块的硬件架构。
Jan, 2024
GCV-Turbo是一款基于FPGA的领域特定加速器,用于端到端加速基于图神经网络的计算机视觉任务,可以提供高性能加速并支持独立的CNN或GNN执行。
Apr, 2024
该研究论文提出了EvGNN,这是第一个用于边缘视觉的事件驱动GNN加速器,通过利用定向动态图、事件队列和新颖的层并行处理方案,实现了边缘视觉的低内存占用、超低延迟和高准确性,从而实现了实时的微秒级分辨率事件驱动视觉。
Apr, 2024
本研究旨在利用事件相机解决传统视频系统的限制,在汽车领域中针对嵌入式实时系统进行集成,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现了模型尺寸的超过 100 倍压缩,并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%,N-Cars 分类为 1.7%),从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN),并在 ZCU104 SoC FPGA 平台上实现,实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外,本研究还解决了所提出硬件模型的可扩展性,以提高所得到的准确性分数。据我们所知,这是首次在 SoC FPGA 上加速 PointNet++ 网络,也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码:this https URL*** (将在被接受后发布)。
Jun, 2024
该论文概述了在处理事件数据的不同环境中使用FPGAs的重要工作,并涵盖了滤波、立体视觉、光流、基于人工智能的算法加速(包括脉冲神经网络)用于目标分类、检测和跟踪以及机器人和检测系统的应用。讨论了此类系统的当前趋势和挑战。
Jul, 2024