基于图的异步事件处理用于快速对象识别
最近在事件相机研究中,通过使用原始稀疏形式的数据进行处理,凭借其独特的特点(如高时间分辨率、高动态范围、低延迟和抗图像模糊性),取得了一些进展。其中,基于图卷积网络(GCNs)的事件数据分析方法令人期待。然而,在该领域的当前研究主要集中在优化计算成本上,却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素,进行了不同图卷积操作的比较分析,结果显示,相较于最先进方法使用的操作,特征提取模块的参数数量减少了 450 倍,数据表示的大小减少了 4.5 倍,同时保持了 52.3% 的分类准确率,比最先进方法提高了 6.3%。为了进一步评估性能,我们实现了目标检测体系结构,并在 N-Caltech101 数据集上评估了其性能,结果显示其在 0.5 的 mAP 下达到了 53.7% 的准确率,并达到了每秒 82 个图的执行速度。
Jul, 2023
本研究提出了一种通用的框架,将基于同步图像事件表示训练的模型转换为具有相同输出的异步模型,以便直接利用事件数据的本质异步性和稀疏性,并在目标检测和识别任务中实现了高达 20 倍计算复杂度的降低和 24% 的精度提高。
Mar, 2020
本文提出采用异步事件驱动图神经网络 (AEGNN),将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图,在物体分类和检测任务上,实现了计算复杂度提高 11 倍的同时,保持了最新的异步方法相同甚至更好的性能表现,将计算的降低转化为计算延迟降低了 8 倍,为低延时事件处理打开了新的机遇。
Mar, 2022
本文介绍了将事件流转化成基于网格的表示的通用框架,其具有两个主要优势:(i)允许端到端学习输入事件表示,(ii)提供了一个统一记录大多数事件表示的分类法,并识别出新的事件表示方法。通过实验证明,我们的端到端学习事件表示的方法相对于现有技术方法,在光流估计和目标识别上都有约 12%的改进。
Apr, 2019
本研究旨在利用事件相机解决传统视频系统的限制,在汽车领域中针对嵌入式实时系统进行集成,通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化,实现了模型尺寸的超过 100 倍压缩,并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%,N-Cars 分类为 1.7%),从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN),并在 ZCU104 SoC FPGA 平台上实现,实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外,本研究还解决了所提出硬件模型的可扩展性,以提高所得到的准确性分数。据我们所知,这是首次在 SoC FPGA 上加速 PointNet++ 网络,也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码:this https URL*** (将在被接受后发布)。
Jun, 2024
本文介绍了一个从事件相机数据流中生成图形的硬件实现过程,通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能,并提出了基于图形生成模块的硬件架构。
Jan, 2024
本文提出了一种名为 Graph Mixer Neural Network 的算法,采用协同上下文混合层来解决动态条件下物体分割遇到的挑战。本方法在事件图上应用,并通过四个最近邻层级并行地传播了时空相关性。实验表明该方法表现优于最先进的方法。
May, 2023
提出了一种新的图表示方法将事件数据与图转换器相结合,用于准确的神经形态分类任务。通过广泛实验表明,该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果,为嵌入移动设备的神经形态应用开辟了道路。
Sep, 2023
本研究开发了一种基于事件的相机的方法,将问题转化为涉及多个运动模型的能量最小化问题,并利用时空图的形式下的输入事件数据的结构迭代地解决事件聚类分配和运动模型拟合两个子问题。实验结果表明,该方法具有很高的灵活性,在不同的场景中能够获取不同运动模式和移动物体的数量。
Dec, 2020
该研究论文提出了 EvGNN,这是第一个用于边缘视觉的事件驱动 GNN 加速器,通过利用定向动态图、事件队列和新颖的层并行处理方案,实现了边缘视觉的低内存占用、超低延迟和高准确性,从而实现了实时的微秒级分辨率事件驱动视觉。
Apr, 2024