面向事件相机的内存高效图卷积网络用于目标分类和检测

Jul, 2023

面向事件相机的内存高效图卷积网络用于目标分类和检测

Memory-Efficient Graph Convolutional Networks for Object Classification and Detection with Event Cameras

Kamil Jeziorek, Andrea Pinna, Tomasz Kryjak

TL;DR最近在事件相机研究中，通过使用原始稀疏形式的数据进行处理，凭借其独特的特点（如高时间分辨率、高动态范围、低延迟和抗图像模糊性），取得了一些进展。其中，基于图卷积网络（GCNs）的事件数据分析方法令人期待。然而，在该领域的当前研究主要集中在优化计算成本上，却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素，进行了不同图卷积操作的比较分析，结果显示，相较于最先进方法使用的操作，特征提取模块的参数数量减少了 450 倍，数据表示的大小减少了 4.5 倍，同时保持了 52.3% 的分类准确率，比最先进方法提高了 6.3%。为了进一步评估性能，我们实现了目标检测体系结构，并在 N-Caltech101 数据集上评估了其性能，结果显示其在 0.5 的 mAP 下达到了 53.7% 的准确率，并达到了每秒 82 个图的执行速度。

Abstract

Recent advances in event camera research emphasize processing data in its original sparse form, which allows the use of its unique features such as high temporal resolution, high dynamic range, low latency, and resistance to image blur. One promising approach for analyzing event data i

event camera research graph convolutional networks computational costs model complexity object detection architecture

发现论文，激发创造

优化图表示以用于基于事件视觉的图卷积网络的硬件实现

本文介绍了一个从事件相机数据流中生成图形的硬件实现过程，通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能，并提出了基于图形生成模块的硬件架构。

Jan, 2024

基于图的异步事件处理用于快速对象识别

本研究介绍了一种基于图的事件相机新框架 SlideGCN，通过事件逐个处理并保持图的内部结构，从而高效处理事件数据并保持低延迟特性。在图构建方面，采用半径搜索算法来更好地利用事件云的部分规则结构。实验结果表明，相较于当前基于图的方法，我们的方法在保持最先进的目标识别性能的同时，将计算复杂度降低了 100 倍。此外，通过事件级处理，我们验证了该方法的优越性，当状态稳定时，能够以高置信度进行早期识别。

Aug, 2023

嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理

本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。

Jun, 2024

AEGNN: 异步事件驱动的图神经网络

本文提出采用异步事件驱动图神经网络 (AEGNN)，将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图，在物体分类和检测任务上，实现了计算复杂度提高 11 倍的同时，保持了最新的异步方法相同甚至更好的性能表现，将计算的降低转化为计算延迟降低了 8 倍，为低延时事件处理打开了新的机遇。

Mar, 2022

基于对象场景卷积神经网络的图像事件识别

本文提出一种基于深度神经网络的新型架构 OS-CNN，分解为物体和场景两个网络，分别从物体和场景的角度提取有用信息，设计了不同的网络架构，最终提出了一种 5 个流 CNN 的解决方案，在 ChaLearn Looking at People (LAP) challenge 2015 比赛中取得了 85.5% 的性能并排名第 1。

May, 2015

基于事件的异步稀疏卷积网络

本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。

Mar, 2020

神经形态相机中的异步卷积网络物体检测

本文提出了两种神经网络结构，分别是基于事件的相位叠加帧模型的 YOLE 和异步基于事件的完全卷积网络 fcYOLE，用于在基于事件的摄像头上进行物体检测，通过不同的扩展公开数据集和人工合成数据集的评估，展示了该算法的性能。

May, 2018

降低事件相机的模拟到现实差距

本文介绍了一种用于提高事件基于 CNNs 的训练数据的策略，可为视频重建网络和光流网络带来 20-40％的性能提升，并提出了一种新的高质量数据集 HQF 以解决事件基于视频重建缺乏质量地真实图像的问题。

Mar, 2020

紧凑而强大：利用图神经网络和边缘卷积进行医学图像分类

我们研究了基于图神经网络的医学图像分类的潜力。我们提出了一种将图神经网络与边缘卷积相结合的新模型，利用 RGB 通道特征值的相互连接来强烈表示关键图节点之间的联系。我们的模型在 MedMNIST 数据集的分类中表现出色，并与现有的深度神经网络相比，参数少 1000 倍，训练时间和数据需求减少。我们的结果鼓励进一步探索医学影像领域中的其他图神经网络模型。

Jul, 2023

EvGNN：一款用于边缘视觉的事件驱动图神经网络加速器

该研究论文提出了 EvGNN，这是第一个用于边缘视觉的事件驱动 GNN 加速器，通过利用定向动态图、事件队列和新颖的层并行处理方案，实现了边缘视觉的低内存占用、超低延迟和高准确性，从而实现了实时的微秒级分辨率事件驱动视觉。

Apr, 2024