Aug, 2023

基于学习瓶颈变换器的事件图像体素特征融合分类

PDF
TL;DR该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。
event-based cameradual-stream frameworktransformerstructured graph neural networkevent-based classification
发现论文，激发创造
  • 保留、融合和交换：一种面向事件流识别的质量感知空间立体融合方法

    本文提出了一种新颖的双流框架 EFV++，通过差异化融合来进行基于事件流的模式识别，同时对事件图像和事件体素这两种常见的事件表示进行建模，利用 Transformer 和图神经网络分别学习空间和三维立体信息，并通过高质量特征、中质量特征和低质量特征的划分、融合和替换来增强双特征，最终使用混合交互读取机制来增强特征的多样性作为最终表示。大量实验表明，我们提出的框架在多个广泛使用的基于事件流的分类数据集上实现了最先进的性能，特别是在 Bullying10k 数据集上取得了新的最佳性能，达到了 90.51%，超过第二名 2.21%。本文的源代码已在 https://github.com/Event-AHU/EFV_event_classification/tree/EFVpp 上发布。

    Jun, 2024

  • SSTFormer：连接脉冲神经网络和具备记忆支持的转换器用于基于帧事件的识别

    通过融合 RGB 帧和事件流的模式识别框架，在事件相机模式识别领域取得了有效的结果，同时还提出了一个大规模的 PokerEvent 数据集，促进了模式识别的发展。

    Aug, 2023

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 释放 CNN 和 Transformer 在平衡的 RGB - 事件视频识别中的力量

    基于 RGB-Event 数据的模式识别是一个新兴的研究课题，本文提出了一种相对轻量级的 CNN-Transformer 模型 TSCFormer，该模型在全局和本地特征提取上取得了平衡，经过大规模实验证实了其有效性。

    Dec, 2023

  • 基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别

    整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。

    Nov, 2023

  • 可插拔事件图像翻译的双重迁移学习用于基于事件的终极任务预测

    本文提出了一种名为双重转移学习的框架，包括事件到终端任务学习分支、事件到图像翻译分支和转移学习模块，可有效提高像语义分割和深度估计等端任务的性能。

    Sep, 2021

  • 基于点 - 体素吸收图表示学习的事件流识别

    本研究提出一种新型的面向事件流数据表示学习的双点 - 像素吸收图表示方法，采用吸收图卷积网络（AGCN）以有效捕捉图节点的重要性并充分意识到节点表示。最后将双分支学习的事件表示合并提取两种提示的互补信息，并输入线性层进行事件数据分类。

    Jun, 2023

  • 异步事件数据表示的端到端学习

    本文介绍了将事件流转化成基于网格的表示的通用框架，其具有两个主要优势：（i）允许端到端学习输入事件表示，（ii）提供了一个统一记录大多数事件表示的分类法，并识别出新的事件表示方法。通过实验证明，我们的端到端学习事件表示的方法相对于现有技术方法，在光流估计和目标识别上都有约 12％的改进。

    Apr, 2019

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • EvPlug: 事件与图像融合的即插即用模块学习

    该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计等多个视觉任务中展现了优越性。

    Dec, 2023