Dec, 2023

EvPlug: 事件与图像融合的即插即用模块学习

PDF
TL;DR该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计等多个视觉任务中展现了优越性。
event camerasrgb camerasmulti-modal fusionevent and image fusionvision tasks
发现论文，激发创造
  • 补充事件流和 RGB 帧用于手部网格重建

    通过融合事件相机和 RGB 相机的数据，EvRGBHand 可以解决 RGB 相机和事件相机在手部网格重建中的不足，并通过 EvRGBDegrader 在具有挑战性场景下实现有效的泛化，降低数据获取成本。

    Mar, 2024

  • RPEFlow: RGB-PointCloud-Event 模态多模融合光流与场景流估计

    通过提出的多阶段多模态融合模型 RPEFlow，将 RGB 图像、点云和事件相机用于联合光流和场景流估计，并引入注意力融合模块以及互信息正则化项来提高性能。实验结果表明，该模型在合成和真实数据集上优于现有的最先进方法。

    Sep, 2023

  • 将事件融入 RGB 和 LiDAR：用于场景流的分层视觉动态融合

    本论文提出了一种新的分层式视觉 - 运动融合框架用于场景流，通过将事件作为 RGB 和 LiDAR 之间的桥梁，探索同质化空间来融合跨模态的互补知识，从而逐步改善场景流。

    Mar, 2024

  • 可插拔事件图像翻译的双重迁移学习用于基于事件的终极任务预测

    本文提出了一种名为双重转移学习的框架，包括事件到终端任务学习分支、事件到图像翻译分支和转移学习模块，可有效提高像语义分割和深度估计等端任务的性能。

    Sep, 2021

  • 基于大型视觉 - 语言模型的语义感知框架 - 事件融合式模式识别

    整合 RGB 帧、事件流和语义标签的模式识别框架，利用预训练的大规模视觉 - 语言模型（CLIP）提取特征，并通过多模态 Transformer 网络集成这三种形式的特征，通过实验证明了 SAFE 模型的有效性。

    Nov, 2023

  • 基于学习瓶颈变换器的事件图像体素特征融合分类

    该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。

    Aug, 2023

  • 白天和夜晚的追踪：基于事件相机引导的稳健高效全天物体检测

    通过融合 RGB 和事件信息的轻量级脉冲神经网络，我们提出了一种新颖的对象检测框架 EOLO，实现了稳健高效的全天候检测，在各种光照条件下优于现有检测器 (+3.74% mAP50)。

    Sep, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • TUMTraf 事件：校准和融合产生的道路事件和 RGB 摄像头数据集

    事件相机在智能交通系统中具有潜力，可以提供高时空分辨率和动态范围，消除运动模糊，更易于夜间识别物体。然而，事件相机缺乏颜色和纹理，因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体，并提出了融合策略。实验证明了校准方法的有效性，并通过事件相机数据融合方法在白天和夜间中提高了物体检测性能。

    Jan, 2024

  • 高帧率跟踪的帧 - 事件对齐与融合网络

    该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。

    May, 2023