May, 2023

高帧率跟踪的帧 - 事件对齐与融合网络

PDF
TL;DR该论文提出了使用多模方式结合 RGB-based trackers 和 event-based cameras 进行 high frame rate tracking 的方法，并应用 multi-modality alignment 和 fusion modules 对两种模式的信息进行融合。在 FE240hz 数据集上，该方法表现优异，实现了高达 240Hz 的高帧率追踪。
发现论文，激发创造
  • 利用帧和事件域联合探测物体轨迹

    本研究提出了一种多模态方法，可以在单个目标追踪中融合来自帧域和事件域的视觉线索以提高其性能，并通过一种新颖的设计的跨域注意方案有效地和自适应地结合有意义的信息。我们的方法利用自适应平衡方案，其中可以平衡两种领域的贡献。实验证明，所提出的方法的效果比最先进的基于帧的跟踪方法至少提高了 10.4％和 11.9％，并且有效性得到了充分的验证。

    Sep, 2021

  • 基于事件融合的跨模态注意力运动去模糊

    本文利用事件相机记录图像信息的方式，提出了一种端到端的双阶段图像复原神经网络，设计了一个跨模态注意力模块来有效地融合事件与图像特征，同时引入了一种新的对称累积事件表示和事件掩膜门控连接，提出了一个 REBlur 数据集和 EFNet 模型用于事件运动模糊的去除，实验结果表明本文提出的方法优于之前 image-based 方法和所有已有的 public events-based 方法。

    Nov, 2021

  • 使用事件和图像帧进行非同步光度特征跟踪

    该论文介绍了一种利用事件相机和标准相机的互补性来实现低延迟跟踪视觉特征的方法，通过提取标准相机的特征和利用事件相机的低延迟更新，该方法能够在各种场景下产生比现有技术更准确、更长的特征跟踪。

    Jul, 2018

  • 基于事件流的视觉目标跟踪：一个高分辨率基准数据集和一种新的基线模型

    通过多模态跟踪和知识蒸馏方法，在高分辨率事件信号下实现了高速低延迟的视觉跟踪的研究。

    Sep, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 通过帧与事件流的协作实现可靠的物体跟踪

    本文提出了一个大规模的可见事件跟踪基准测试（VisEvent），由 820 个视频对组成，其中包含以低照度、高速和背景杂波为特点的数据集，将事件流转换为事件图像，并构建了 30 多种基线算法和一个简单但有效的跨模态转换器，以实现可见数据和事件数据之间的更有效特征融合。实验结果验证了模型的有效性。

    Aug, 2021

  • 长期框架 - 事件视觉跟踪：基准数据集和基线

    提出了一个新的长期和大规模帧事件单目标跟踪数据集（FELT），该数据集包含 742 个视频和 1,594,474 个 RGB 帧和事件流对，已成为迄今为止最大的帧事件跟踪数据集。通过引入现代 Hopfield 层到多头自注意力块中的联想记忆 Transformer 网络来融合 RGB 和事件数据，验证了模型的有效性。

    Mar, 2024

  • 使用事件相机进行连续时间强度估计

    提出了一种异步滤波器，可以将事件摄像机从高速、高动态范围数据中提取的局部时间对比信息，与传统摄像机从低频参考强度信息中提取的信息相融合，以形成一个单一的高时空分辨率图像状态，证明该算法优于现有状态的方法。

    Nov, 2018

  • CRSOT: 使用非对准帧和事件相机进行跨分辨率目标跟踪

    使用不对齐的神经形态和可见光相机进行目标跟踪，提出了一种新的跟踪框架，能够通过提取 RGB 和 Event 数据的特征，并利用不确定性感知模块和融合模块实现高性能的跟踪。

    Jan, 2024

  • 基于事件触发的视频帧合成

    提出了一个高帧率的 TVFS 框架，该框架利用来自低速基于帧的传感器和高速事件传感器的混合输入数据，融合了两种不同的数据模式，并统一了各种 TVFS 任务，即插值、预测和运动去模糊，采用自动微分对梯度进行反向传播，实验结果表明与现有技术相比性能更佳。其次，采用深度学习策略增强了第一步结果，提出了一种残差 “去噪” 方法，展现了处理具有挑战性场景的能力，包括快速运动和强烈遮挡。

    Feb, 2019