Mar, 2024

将事件融入 RGB 和 LiDAR：用于场景流的分层视觉动态融合

PDF
TL;DR本论文提出了一种新的分层式视觉 - 运动融合框架用于场景流，通过将事件作为 RGB 和 LiDAR 之间的桥梁，探索同质化空间来融合跨模态的互补知识，从而逐步改善场景流。
rgblidarscene floweventhierarchical fusion
发现论文，激发创造
  • RPEFlow: RGB-PointCloud-Event 模态多模融合光流与场景流估计

    通过提出的多阶段多模态融合模型 RPEFlow，将 RGB 图像、点云和事件相机用于联合光流和场景流估计，并引入注意力融合模块以及互信息正则化项来提高性能。实验结果表明，该模型在合成和真实数据集上优于现有的最先进方法。

    Sep, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • EvPlug: 事件与图像融合的即插即用模块学习

    该论文提出了 EvPlug，一种能够将事件相机与图像相结合的方法，在不需要像素级对齐的情况下，通过学习融合模块的方式，使得 RGB 模型在高动态范围和快速运动场景下具备鲁棒性和高时序分辨率推理能力，从而在物体检测、语义分割和 3D 手姿估计等多个视觉任务中展现了优越性。

    Dec, 2023

  • 光学和场景流的注意力多模态融合

    通过使用深度神经网络，并在不同的网络级别中应用自注意力机制以及交叉注意力机制，我们提出了一种名为 FusionRAFT 的方法，实现了早期传感器模态（RGB 和深度）之间的信息融合，以解决 RGB 信息不可靠的问题，在主动配准中取得了比最近方法更好的性能。

    Jul, 2023

  • 基于 RGB-D 和惯性场景流的相机运动估计

    该研究介绍了一种新的相机运动估计方法，通过场景流集成 RGB-D 图像和惯性数据，旨在在刚性三维环境中准确估计相机运动和惯性测量单元（IMU）状态。通过对合成数据和真实数据进行评估，结果显示这两个传感器的融合相比仅使用视觉数据具有更高的相机运动估计精度。

    Apr, 2024

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 具挑战条件下的跨模态半密集 6 自由度事件相机跟踪

    使用基于事件的相机进行视觉定位，通过几何三维到二维的映射和极性感知的注册方法实现高可靠性和准确性的多模态跟踪，同时引入新的遮挡点筛选策略提高追踪器的速度和鲁棒性。

    Jan, 2024

  • 感知感知多传感器融合用于 3D LiDAR 语义分割

    本文章提出了一种基于感知信息的多传感器融合策略（PMF），用于自动驾驶等应用中的 3D LiDAR 语义分割，通过两个模态的外观和空间深度信息进行感知信息融合并且提出了感知相关的损失函数用于衡量两种模式之间的差异性，实验结果证明了该方法的优越性。

    Jun, 2021

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021

  • TUMTraf 事件：校准和融合产生的道路事件和 RGB 摄像头数据集

    事件相机在智能交通系统中具有潜力，可以提供高时空分辨率和动态范围，消除运动模糊，更易于夜间识别物体。然而，事件相机缺乏颜色和纹理，因此需要与传统 rgb 相机进行数据融合和外部校准。本研究通过聚类方法扩展了无标定的校准方法以处理多个移动物体，并提出了融合策略。实验证明了校准方法的有效性，并通过事件相机数据融合方法在白天和夜间中提高了物体检测性能。

    Jan, 2024