May, 2024

TENet：融合多尺度池化和相互引导融合的 RGB-E 目标追踪

PDF
TL;DR通过改进 RGB 模式的视觉对象跟踪，利用视觉事件相机的输出，特别是对场景运动特别有信息量的输出，本文通过引入一个适应事件数据固有特性的事件 backbone (Pooler)，提出了一种高质量的特征表示方法，该方法利用多尺度池化来捕捉事件数据中的所有运动特征趋势，并通过一个创新的模块进行自适应互相指导融合（MGF），在两个广泛使用的 RGB-E 跟踪数据集上，我们的方法在精确度和成功率上分别提高了 4.9% 和 5.2%。
发现论文，激发创造
  • 释放 CNN 和 Transformer 在平衡的 RGB - 事件视频识别中的力量

    基于 RGB-Event 数据的模式识别是一个新兴的研究课题，本文提出了一种相对轻量级的 CNN-Transformer 模型 TSCFormer，该模型在全局和本地特征提取上取得了平衡，经过大规模实验证实了其有效性。

    Dec, 2023

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 重新考虑基于颜色事件的跟踪：一种统一的网络、数据集和度量方法

    本文提出了一种名为 CEUTrack 的单阶段骨干网络，该网络通过 Transformer 骨干网络实现了特征提取、融合、匹配和互动学习等功能，用于对基于颜色和事件的物体进行跟踪。此外，我们还提出了一个大规模基准数据集 COESOT，并提出了一种新的评估指标 BOC。

    Nov, 2022

  • 白天和夜晚的追踪：基于事件相机引导的稳健高效全天物体检测

    通过融合 RGB 和事件信息的轻量级脉冲神经网络，我们提出了一种新颖的对象检测框架 EOLO，实现了稳健高效的全天候检测，在各种光照条件下优于现有检测器 (+3.74% mAP50)。

    Sep, 2023

  • Mamba-FETrack: 基于状态空间模型的帧事件跟踪

    RGB-Event based tracking framework, Mamba-FETrack, utilizing State Space Model achieves high-performance tracking while reducing computational costs, providing efficiency and effectiveness.

    Apr, 2024

  • 基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别

    整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。

    Nov, 2023

  • 长期框架 - 事件视觉跟踪：基准数据集和基线

    提出了一个新的长期和大规模帧事件单目标跟踪数据集（FELT），该数据集包含 742 个视频和 1,594,474 个 RGB 帧和事件流对，已成为迄今为止最大的帧事件跟踪数据集。通过引入现代 Hopfield 层到多头自注意力块中的联想记忆 Transformer 网络来融合 RGB 和事件数据，验证了模型的有效性。

    Mar, 2024

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023

  • RGBT 跟踪中的密集特征聚合与剪枝

    本文提出一种基于深度融合和递归策略的算法用于多模态追踪，该算法利用端到端训练的卷积神经网络的特征表示强化在所有模态中的物体表示，采用全局平均池化和加权随机选择分数进行通道评分和选择，并通过剪枝去除冗余和噪声特征以实现更强的特征表示。在两个 RGBT 追踪基准数据集上的实验结果表明，该算法在 RGB 和 RGBT 追踪方法中实现了明显的最新技术水平。

    Jul, 2019

  • 基于学习瓶颈变换器的事件图像体素特征融合分类

    该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。

    Aug, 2023