AEGNN: 异步事件驱动的图神经网络

CVPRMar, 2022

AEGNN: Asynchronous Event-based Graph Neural Networks

Simon Schaefer, Daniel Gehrig, Davide Scaramuzza

TL;DR本文提出采用异步事件驱动图神经网络 (AEGNN)，将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图，在物体分类和检测任务上，实现了计算复杂度提高 11 倍的同时，保持了最新的异步方法相同甚至更好的性能表现，将计算的降低转化为计算延迟降低了 8 倍，为低延时事件处理打开了新的机遇。

Abstract

The best performing learning algorithms devised for event cameras work by first converting events into dense representations that are then processed using standard CNNs. However, these steps discard both the sparsity and high temporal resolution of events, leading to high computational burden and latency. For this reason, recent works have adopted Graph Neur

asynchronous, event-based graph neural networks evolving spatio-temporal graph object classification object detection low-latency event-based processing

发现论文，激发创造

EvGNN：一款用于边缘视觉的事件驱动图神经网络加速器

该研究论文提出了 EvGNN，这是第一个用于边缘视觉的事件驱动 GNN 加速器，通过利用定向动态图、事件队列和新颖的层并行处理方案，实现了边缘视觉的低内存占用、超低延迟和高准确性，从而实现了实时的微秒级分辨率事件驱动视觉。

Apr, 2024

嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理

本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。

Jun, 2024

基于事件的异步稀疏卷积网络

本研究提出了一种通用的框架，将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型，以便直接利用事件数据的本质异步性和稀疏性，并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。

Mar, 2020

基于图的异步事件处理用于快速对象识别

本研究介绍了一种基于图的事件相机新框架 SlideGCN，通过事件逐个处理并保持图的内部结构，从而高效处理事件数据并保持低延迟特性。在图构建方面，采用半径搜索算法来更好地利用事件云的部分规则结构。实验结果表明，相较于当前基于图的方法，我们的方法在保持最先进的目标识别性能的同时，将计算复杂度降低了 100 倍。此外，通过事件级处理，我们验证了该方法的优越性，当状态稳定时，能够以高置信度进行早期识别。

Aug, 2023

事件驱动视觉识别任务中的准确性差距缩小

本文研究基于事件驱动的异步脉冲神经网络，并通过将经典的基于帧数据训练的卷积神经网络转换为异步网络，以在计算预算紧张的条件下实现低功耗、快速和嵌入式的神经网络视觉解决方案，其中应用范例是机器人跟踪移动目标。研究发现，异步网络的分类准确率仅比同步 CNN 低 3％，但计算量却减少了 12 倍。

May, 2019

EDeNN: 用于低延迟视觉的事件衰减神经网络

利用事件相机的异步像素来开发新型神经网络在角速度回归和光流估计方面表现出最先进的性能。

Sep, 2022

面向事件相机的内存高效图卷积网络用于目标分类和检测

最近在事件相机研究中，通过使用原始稀疏形式的数据进行处理，凭借其独特的特点（如高时间分辨率、高动态范围、低延迟和抗图像模糊性），取得了一些进展。其中，基于图卷积网络（GCNs）的事件数据分析方法令人期待。然而，在该领域的当前研究主要集中在优化计算成本上，却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素，进行了不同图卷积操作的比较分析，结果显示，相较于最先进方法使用的操作，特征提取模块的参数数量减少了 450 倍，数据表示的大小减少了 4.5 倍，同时保持了 52.3% 的分类准确率，比最先进方法提高了 6.3%。为了进一步评估性能，我们实现了目标检测体系结构，并在 N-Caltech101 数据集上评估了其性能，结果显示其在 0.5 的 mAP 下达到了 53.7% 的准确率，并达到了每秒 82 个图的执行速度。

Jul, 2023

EEGSN: 基于图峰值神经网络的脑电解码高效低延迟实现

我们提出了一种基于图的神经脉冲网络结构来进行多通道脑电图分类的方法（Graph Spiking Neural Network architecture for multi-channel EEG classification）。相较于目前最先进的 SNN（Spiking Neural Network），我们的方法提高了计算效率，降低了计算复杂度，并在运动执行分类任务中取得了与当前方法相当的准确性。

Apr, 2023

Ev-Edge: 基于事件的视觉算法在通用边缘平台上的高效执行

Ev-Edge 是一个框架，通过三项关键优化技术提高边缘平台上基于事件的视觉系统的性能，包括将事件流转换为稀疏帧、动态稀疏帧聚合和网络映射。在多种自主导航任务中，Ev-Edge 相较于 NVIDIA Jetson Xavier AGX 平台上全 GPU 实现的单任务执行中具有 1.28 倍至 2.05 倍的延迟改进和 1.23 倍至 2.15 倍的能源改进，也相较于循环调度方法在多任务执行场景下具有 1.43 倍至 1.81 倍的延迟改进。

Mar, 2024

EventNet：异步递归事件处理

本研究提出了 EventNet，一种基于新型视觉传感器的神经网络，旨在实时处理异步事件流，并采用了新的时间编码方案来建模输出对数万个因果事件的依赖关系，同时在标准 CPU 上每秒处理百万个事件，通过实验验证了该框架的实时性和稳健性。

Dec, 2018