Dec, 2023

释放 CNN 和 Transformer 在平衡的 RGB - 事件视频识别中的力量

PDF
TL;DR基于 RGB-Event 数据的模式识别是一个新兴的研究课题，本文提出了一种相对轻量级的 CNN-Transformer 模型 TSCFormer，该模型在全局和本地特征提取上取得了平衡，经过大规模实验证实了其有效性。
rgb-event datapattern recognitioncnntransformertscformer
发现论文，激发创造
  • SSTFormer：连接脉冲神经网络和具备记忆支持的转换器用于基于帧事件的识别

    通过融合 RGB 帧和事件流的模式识别框架，在事件相机模式识别领域取得了有效的结果，同时还提出了一个大规模的 PokerEvent 数据集，促进了模式识别的发展。

    Aug, 2023

  • 基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别

    整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。

    Nov, 2023

  • 基于不确定性感知的桥接式移动 Former 网络用于基于事件的模式识别

    基于事件流的轻量级不确定性感知信息传播的 Mobile-Former 网络用于有效的模式识别，对多个事件识别数据集进行了广泛实验验证。

    Jan, 2024

  • 基于学习瓶颈变换器的事件图像体素特征融合分类

    该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。

    Aug, 2023

  • TENet：融合多尺度池化和相互引导融合的 RGB-E 目标追踪

    通过改进 RGB 模式的视觉对象跟踪，利用视觉事件相机的输出，特别是对场景运动特别有信息量的输出，本文通过引入一个适应事件数据固有特性的事件 backbone (Pooler)，提出了一种高质量的特征表示方法，该方法利用多尺度池化来捕捉事件数据中的所有运动特征趋势，并通过一个创新的模块进行自适应互相指导融合（MGF），在两个广泛使用的 RGB-E 跟踪数据集上，我们的方法在精确度和成功率上分别提高了 4.9% 和 5.2%。

    May, 2024

  • 事件相机数据密集预训练

    本文介绍了一种自监督学习框架，用于预训练针对密集预测任务的神经网络，该框架使用事件相机数据进行训练，并在转移学习方面展现出卓越性能。

    Nov, 2023

  • 当 CNN 遇到随机 RNN: 多层次 RGB-D 物体和场景识别分析

    本文提出了一个使用 RGB-D 图像进行对象和场景识别的新方法，使用深度神经网络取代手工特征提取器，并利用卷积神经网络提取的视觉特征和递归神经网络高效转换为高级别特征，通过软投票方法进行多模态融合来实现一致的分类结果，实验结果表明该方法在对象和场景识别任务中均取得了卓越或同等水平的性能。

    Apr, 2020

  • 保留、融合和交换：一种面向事件流识别的质量感知空间立体融合方法

    本文提出了一种新颖的双流框架 EFV++，通过差异化融合来进行基于事件流的模式识别，同时对事件图像和事件体素这两种常见的事件表示进行建模，利用 Transformer 和图神经网络分别学习空间和三维立体信息，并通过高质量特征、中质量特征和低质量特征的划分、融合和替换来增强双特征，最终使用混合交互读取机制来增强特征的多样性作为最终表示。大量实验表明，我们提出的框架在多个广泛使用的基于事件流的分类数据集上实现了最先进的性能，特别是在 Bullying10k 数据集上取得了新的最佳性能，达到了 90.51%，超过第二名 2.21%。本文的源代码已在 https://github.com/Event-AHU/EFV_event_classification/tree/EFVpp 上发布。

    Jun, 2024

  • TransformerFusion：使用 Transformer 的单目 RGB 场景重建

    TransformerFusion 是一种基于 Transformer 的 3D 场景重建方法，通过 Transformer 网络处理输入的单眼 RGB 视频，将观察结果融合为代表场景的体积特征网格，最终解码为隐式的 3D 场景表示，实现精准的场景面貌恢复与重建。

    Jul, 2021

  • 基于 Transformer 的 RGB-T 跟踪及通道和空间特征融合

    RGB-T 跟踪中，如何更好地融合跨模态特征是核心问题。本文利用直接融合跨模态通道与空间特征的方法，提出了 CSTNet，使用 ViT 作为主干，并插入了跨模态通道特征融合模块和跨模态空间特征融合模块，实现了 RGB 和 TIR 特征的直接交互。通过综合实验，CSTNet 在三个公共 RGB-T 跟踪基准上取得了最好的性能。

    May, 2024