Sep, 2023

SpikeMOT：稀疏运动特征的基于事件的多目标跟踪

PDF
TL;DR通过使用 SpikeMOT，一种基于事件的多目标跟踪器，利用脉冲神经网络从事件流中提取了稀疏的时空特征来高频率地追踪物体的运动，并在等效帧率下提供更新的空间信息，从而实现了在复杂背景和相机运动干扰下具有高跟踪精度的实时目标跟踪。
event camerasobject trackingevent-based multi-object trackingspikemotspiking neural networks
发现论文，激发创造
  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 基于时空图割的事件驱动运动分割

    本研究开发了一种基于事件的相机的方法，将问题转化为涉及多个运动模型的能量最小化问题，并利用时空图的形式下的输入事件数据的结构迭代地解决事件聚类分配和运动模型拟合两个子问题。实验结果表明，该方法具有很高的灵活性，在不同的场景中能够获取不同运动模式和移动物体的数量。

    Dec, 2020

  • 通过时间动力学学习稀疏事件来进行汽车目标检测

    基于事件的传感器与其高时间分辨率（1 微秒）和动态范围（120dB），能够在车辆和无人机等高速平台中部署。然而，事件的高度稀疏和波动性对基于人工神经网络（ANNs）的传统目标检测技术构成了挑战。相比之下，脉冲神经网络（SNNs）由于其固有的时间动态性，在表示基于事件的数据方面非常适用。我们特别演示了膜电位动力学如何在波动事件上调节网络活动，并增强稀疏输入的特征。此外，脉冲触发的自适应阈值可以稳定训练，进一步提高网络性能。基于这一点，我们开发了一种高效的用于基于事件的目标检测的脉冲特征金字塔网络。我们的提出的 SNN 在 Gen1 基准数据集上取得了显著的成绩，达到了 47.7％的平均精度（map50），超过了以前最好的 SNN 9.7％，并展示了 SNN 在基于事件的视觉领域的潜力。我们的模型具有简洁的结构，同时保持了高精度和更低的计算成本，这是稀疏计算的结果。我们的代码将公开提供。

    Jul, 2023

  • 多物体跟踪的单目和多目特征学习

    本文提出了一种简单而有效的两阶段特征学习模型，以共同学习不同目标的单帧特征和多帧特征，从而在跟踪过程中实现鲁棒的数据关联。通过引入单帧特征学习模块和多帧特征学习模块，可以有效地关联相邻帧之间的目标和长时间丢失的目标。通过简单的数据关联逻辑，所提出的 VisualTracker 能够基于单帧特征和多帧特征进行鲁棒的多目标跟踪，实验结果表明该方法在 MOT17 和 MOT20 数据集上取得了显著的改进，并在 DanceTrack 数据集上达到了最先进的性能。

    Nov, 2023

  • 使用 100 万像素事件相机学习物体检测

    本文介绍了一种基于事件相机的物体检测任务的解决方案，包括了首个高分辨率大规模数据集的发布、一种新的递归架构和一种时间一致性损失函数，这些对于更好的训练结果至关重要，而且在需要高动态范围，低延迟且具有挑战性的光照条件的情况下比传统的基于帧的解决方案更加高效而准确。

    Sep, 2020

  • TransMOT: 面向多目标跟踪的时空图形变换器

    本文提出一种名为 TransMOT 的解决方案，利用强大的图形转换器来有效建模目标的空间和时间互作用，通过将轨迹作为一组稀疏加权图来排列跟踪对象的轨迹，并构建基于图形的空间图形变换器编码器层、时间变换器编码器层和空间图形变换器解码器层。Proposed 方法在多个基准数据集上进行评估，包括 MOT15、MOT16、MOT17 和 MOT20，在所有数据集上都达到了最先进的性能。

    Apr, 2021

  • 室外场景：面向复杂场景的动态事件分割的普适化

    本文介绍了一种基于事件相机的运动分割方法，可以成功应用于复杂的大规模室外环境，采用创新的分而治之流程结合状态理解模块和光流模块，以及基于 Transformer 的时间关注模块进行运动分割，在经典的室内 EV-IMO 基准测试和基于 DSEC 事件数据集的新生成的动态分割和跟踪基准测试中取得了最新的最佳表现。

    Mar, 2024

  • SFOD：融合脉冲的目标检测器

    本文提出了 Spiking Fusion Object Detector (SFOD)，基于 SNN 的目标检测方法，在事件相机中实现了多尺度特征图的融合，并通过预训练、分析和实验研究了编码策略和损失函数对模型性能的影响，在 NCAR 数据集上实现了 93.7% 的准确率，GEN1 检测数据集上取得了 32.1% 的最优平均精度，展示了 SNN 在事件相机目标检测领域的潜力和发展。

    Mar, 2024

  • EagerMOT：通过传感器融合实现的三维多物体跟踪

    本文介绍了一种新的多目标跟踪方法 EagerMOT，它使用深度传感器和相机来融合对目标的观察，以实现对移动机器人周围物体在三维空间和时间上的定位，实验表明 EagerMOT 方法在 KITTI 和 NuScenes 数据集上达到了先进水平。

    Apr, 2021

  • 基于实例感知跟踪器和动态模型更新的在线多目标跟踪

    提出一种实例感知跟踪器，结合单个物体跟踪和卷积神经网络技术，用于多物体跟踪，提高跟踪准确性。在 MOT15 和 MOT16 基准测试上表现最佳。

    Feb, 2019