May, 2023

基于异步事件的全景分割的图混合神经网络

PDF
TL;DR本文提出了一种名为 Graph Mixer Neural Network 的算法，采用协同上下文混合层来解决动态条件下物体分割遇到的挑战。本方法在事件图上应用，并通过四个最近邻层级并行地传播了时空相关性。实验表明该方法表现优于最先进的方法。
robotic graspingobject segmentationgraph mixer neural networkevent-based segmentationspatiotemporal correlation
发现论文，激发创造
  • 基于图的异步事件处理用于快速对象识别

    本研究介绍了一种基于图的事件相机新框架 SlideGCN，通过事件逐个处理并保持图的内部结构，从而高效处理事件数据并保持低延迟特性。在图构建方面，采用半径搜索算法来更好地利用事件云的部分规则结构。实验结果表明，相较于当前基于图的方法，我们的方法在保持最先进的目标识别性能的同时，将计算复杂度降低了 100 倍。此外，通过事件级处理，我们验证了该方法的优越性，当状态稳定时，能够以高置信度进行早期识别。

    Aug, 2023

  • 基于神经形态学视觉的图形转换神经网络的运动分割

    提出了一种使用图转换神经网络的新型基于事件的运动分割算法，用于处理事件流以揭示事件之间的局部和全局时空相关性，并在没有先验知识的情况下从背景中分割出移动对象。通过在公开可用的数据集上进行训练，并使用动态物体掩膜感知事件标签生成方法生成近似的地面真值标签，该算法在多个未见数据集上进行了严格实验，结果显示在动态背景变化、运动模式和多个不同大小和速度的动态物体存在的情况下，GTNN 的表现优于其他方法，平均运动分割精度 (IoU%) 和检测率 (DR%) 相应增加了 9.4% 和 4.5%。

    Apr, 2024

  • 基于时空图割的事件驱动运动分割

    本研究开发了一种基于事件的相机的方法，将问题转化为涉及多个运动模型的能量最小化问题，并利用时空图的形式下的输入事件数据的结构迭代地解决事件聚类分配和运动模型拟合两个子问题。实验结果表明，该方法具有很高的灵活性，在不同的场景中能够获取不同运动模式和移动物体的数量。

    Dec, 2020

  • AEGNN: 异步事件驱动的图神经网络

    本文提出采用异步事件驱动图神经网络 (AEGNN)，将事件处理范式从已知稀疏的静态图扩展到事件数据域中的一个演化的稀疏图，在物体分类和检测任务上，实现了计算复杂度提高 11 倍的同时，保持了最新的异步方法相同甚至更好的性能表现，将计算的降低转化为计算延迟降低了 8 倍，为低延时事件处理打开了新的机遇。

    Mar, 2022

  • 嵌入式图卷积网络在 SoC FPGA 上的实时事件数据处理

    本研究旨在利用事件相机解决传统视频系统的限制，在汽车领域中针对嵌入式实时系统进行集成，通过图卷积网络 (GCN) 的运用保证处理事件系统所需的吞吐量和延迟性。通过针对点云处理的 GCN 架构 PointNet++ 进行硬件优化，实现了模型尺寸的超过 100 倍压缩，并在精度方面仅有较小的减少 (N-Caltech101 分类为 2.3%，N-Cars 分类为 1.7%)，从而紧跟 TinyML 的趋势。本文还介绍了一种自定义的基于 FPGA 加速的事件驱动图卷积网络 (EFGCN)，并在 ZCU104 SoC FPGA 平台上实现，实现了每秒 13.3 百万事件 (MEPS) 的吞吐量和 4.47 毫秒的实时部分异步处理延迟。此外，本研究还解决了所提出硬件模型的可扩展性，以提高所得到的准确性分数。据我们所知，这是首次在 SoC FPGA 上加速 PointNet++ 网络，也是首次针对实时连续事件数据处理进行图卷积网络实现的硬件架构研究。我们在一个开放的代码库中发布了软件和硬件源代码：this https URL*** (将在被接受后发布)。

    Jun, 2024

  • 无监督神经形态空中监视运动分割

    通过在事件数据和光流信息上利用自监督变换器，我们提出的方法克服了事件驱动运动分割的限制，消除了人工注释的需求，并减少了参数调整问题，实现了在多个数据集上与现有方法相比的最新性能，适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。

    May, 2024

  • 基于图学习的神经形态成像和分类

    提出了一种新的图表示方法将事件数据与图转换器相结合，用于准确的神经形态分类任务。通过广泛实验表明，该方法在仅有少量事件和有限计算资源的困难真实场景中表现出优异效果，为嵌入移动设备的神经形态应用开辟了道路。

    Sep, 2023

  • 基于 GNEP 的神经形态成像动态分割与运动估计

    论文探讨了事件相机在图像分割和运动估计领域的应用。我们引入了一种基于广义纳什均衡的框架，利用从事件流中得出的时间和空间信息进行分割和速度估计。通过一系列实验展示了该方法的有效性。

    Jul, 2023

  • EvSegSNN: 事件数据的神经形态语义分割

    通过将脉冲神经网络与事件摄像头相结合，我们设计了一种生物可行的编码器 - 解码器 U 型架构的语义分割方法，旨在在性能与资源使用之间进行权衡。实验证明 EvSegSNN 在 MIoU 方面优于最接近的最新模型，同时参数数量减少了 1.6 倍，省去了批归一化阶段。

    Jun, 2024

  • 面向事件相机的内存高效图卷积网络用于目标分类和检测

    最近在事件相机研究中，通过使用原始稀疏形式的数据进行处理，凭借其独特的特点（如高时间分辨率、高动态范围、低延迟和抗图像模糊性），取得了一些进展。其中，基于图卷积网络（GCNs）的事件数据分析方法令人期待。然而，在该领域的当前研究主要集中在优化计算成本上，却忽视了相应的内存成本。本文综合考虑了执行时间、可训练模型参数数量、数据格式要求和训练结果等因素，进行了不同图卷积操作的比较分析，结果显示，相较于最先进方法使用的操作，特征提取模块的参数数量减少了 450 倍，数据表示的大小减少了 4.5 倍，同时保持了 52.3% 的分类准确率，比最先进方法提高了 6.3%。为了进一步评估性能，我们实现了目标检测体系结构，并在 N-Caltech101 数据集上评估了其性能，结果显示其在 0.5 的 mAP 下达到了 53.7% 的准确率，并达到了每秒 82 个图的执行速度。

    Jul, 2023