Jul, 2023

基于事件相机的任意时间光流估计

PDF
TL;DR本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow，其中关键组件为堆叠的时空运动细化模块，可通过时空运动细化预测时间密集的光流并增强其准确性，同时还引入了用于无监督评估中间光流的修正流变形误差损失 (RFWL)。
event camerasoptical flow estimationunified voxel grideva-flowspatiotemporal motion refinement
发现论文，激发创造
  • EV-FlowNet: 自监督事件型相机光流估计

    本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

    Feb, 2018

  • 使用事件相机进行单张图像的光流估计

    该研究探讨了如何利用事件相机和模糊图像进行光流估计，提出了一种基于事件相机和模糊图像的光流估计算法，并通过实验验证了该算法的优越性。

    Apr, 2020

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

    Aug, 2021

  • EV-MGRFlowNet: 基于运动导向的循环网络的非监督事件驱动光流估计与混合运动补偿损失

    本文提出了一种基于事件相机的无监督光流估计算法 EV-MGRFlowNet，该方法使用带有运动引导的循环网络和混合运动补偿损失，充分利用先前的隐藏状态和运动流，并强化几何约束以更准确地对齐事件，实验结果表明，相对于 MVSEC 数据集上的当前最先进技术，AEE 平均误差可以达到约 22.71％的平均降低，是目前无监督学习方法中排名第一的。

    May, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。

    Dec, 2018

  • 神经形态光流与事件相机实时实现

    研究提出了一种结合时间透镜的新型神经网络架构，利用事件视觉和脉冲神经网络技术，以及基于活动和延迟分析的模型简化方法，提高了光流预测的速度并减少了复杂度，同时保持了高精度特性，为实时部署提供了可能性。

    Apr, 2023

  • 序列化、低延迟、事件驱动光流学习的对比最大化控制

    研究了一种基于事件摄像机的光流无监督学习算法，可以用于实现高频推理的低延迟和低功耗的解决方案，并且在多个数据集上得到了验证。

    Mar, 2023