Jul, 2023

面向事件相机的内存高效图卷积网络用于目标分类和检测

HTML
PDF
TL;DR最近在事件相机研究中，通过使用原始稀疏形式的数据进行处理，凭借其独特的特点（如高时间分辨率、高动态范围、低延迟和抗图像模糊性），取得了一些进展。其中，基于图卷积网络（GCNs）的事件数据分析方法令人期待。然而，在该领域的当前研究主要集中在优化计算成本上，却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素，进行了不同图卷积操作的比较分析，结果显示，相较于最先进方法使用的操作，特征提取模块的参数数量减少了450倍，数据表示的大小减少了4.5倍，同时保持了52.3%的分类准确率，比最先进方法提高了6.3%。为了进一步评估性能，我们实现了目标检测体系结构，并在N-Caltech101数据集上评估了其性能，结果显示其在0.5的mAP下达到了53.7%的准确率，并达到了每秒82个图的执行速度。
发现论文，激发创造
  • 用于事件检测的区分性 CNN 视频表示

    本文讨论如何利用深度卷积神经网络和适当的编码方法来提高视频事件检测的性能, 建议使用潜在概念描述符作为帧描述符, 并实现新的最先进性能。

    Nov, 2014

  • 神经形态相机中的异步卷积网络物体检测

    本文提出了两种神经网络结构，分别是基于事件的相位叠加帧模型的YOLE和异步基于事件的完全卷积网络fcYOLE，用于在基于事件的摄像头上进行物体检测，通过不同的扩展公开数据集和人工合成数据集的评估，展示了该算法的性能。

    May, 2018

  • EventGAN：利用大规模图像数据集改进事件相机

    利用卷积神经网络从一对时间图像帧中模拟事件的方法，可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上，通过这种模拟数据，训练用于对象检测和2D人体姿势估计的下游网络，能够成功推广到真实事件数据集上。

    Dec, 2019

  • 使用100万像素事件相机学习物体检测

    本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。

    Sep, 2020

  • N-ImageNet：使用事件相机实现强健、细粒度目标识别

    本研究介绍了 N-ImageNet 数据集，用于强健细粒度物体识别与事件摄像头。该数据集经过程序控制的硬件收集，具有大量的类别和样本，已被证实在事件物体识别的预训练中，有助于学习少量标注数据，同时还提出了N-ImageNet的几个变体以测试事件分类器在各种环境下的稳健性。本研究也提出了一种新的事件表示法，以缓解性能降级，并在环境条件不同的情况下比较事件物体识别算法之间的差异。因此，N-ImageNet及其变体有望指导实际部署事件物体识别算法在现实世界中的使用。

    Dec, 2021

  • AEGNN: 异步事件驱动的图神经网络

    本文提出采用异步事件驱动图神经网络(AEGNN)，将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图，在物体分类和检测任务上，实现了计算复杂度提高11倍的同时，保持了最新的异步方法相同甚至更好的性能表现，将计算的降低转化为计算延迟降低了8倍，为低延时事件处理打开了新的机遇。

    Mar, 2022

  • 计算机视觉中的图神经网络——架构、数据集和常见方法

    该研究整理并总结了关于应用于计算机视觉的基于图神经网络（GNNs）及其派生物（如GAT、GCN和GRN）的方法的论文，从网络结构、数据集、以及与其他领域的关联等三个方面进行了详细阐述。

    Dec, 2022

  • 基于图的异步事件处理用于快速对象识别

    本研究介绍了一种基于图的事件相机新框架SlideGCN，通过事件逐个处理并保持图的内部结构，从而高效处理事件数据并保持低延迟特性。在图构建方面，采用半径搜索算法来更好地利用事件云的部分规则结构。实验结果表明，相较于当前基于图的方法，我们的方法在保持最先进的目标识别性能的同时，将计算复杂度降低了100倍。此外，通过事件级处理，我们验证了该方法的优越性，当状态稳定时，能够以高置信度进行早期识别。

    Aug, 2023

  • 优化图表示以用于基于事件视觉的图卷积网络的硬件实现

    本文介绍了一个从事件相机数据流中生成图形的硬件实现过程，通过简化图形表示和使用值的缩放和量化的方法来改进图像检测性能，并提出了基于图形生成模块的硬件架构。

    Jan, 2024

  • 嵌入式图卷积网络在SoC FPGA上的实时事件数据处理

    本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。

    Jun, 2024