E-RAFT: 来自事件相机的稠密光流
本文提出了一种改进的 2D 编码事件数据的 3D 表达方法,并介绍了 3D-FlowNet 网络体系结构以进行光流估计,并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明,我们的 3D-FlowNet 具有更好的性能。
Jan, 2022
提出了一种基于事件相机的无监督学习框架,通过事件流中的运动信息来学习运动,该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数,并使用该框架训练了两个网络,一个用于预测光流,另一个用于预测自运动和深度。最后,使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。
Dec, 2018
本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow,其中关键组件为堆叠的时空运动细化模块,可通过时空运动细化预测时间密集的光流并增强其准确性,同时还引入了用于无监督评估中间光流的修正流变形误差损失 (RFWL)。
Jul, 2023
本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet,用于事件驱动相机。该方法不仅可以准确地估计密集光流,还为其他自监督方法到事件驱动领域提供了转移框架。
Feb, 2018
本文提出了一种基于事件相机的无监督光流估计算法 EV-MGRFlowNet,该方法使用带有运动引导的循环网络和混合运动补偿损失,充分利用先前的隐藏状态和运动流,并强化几何约束以更准确地对齐事件,实验结果表明,相对于 MVSEC 数据集上的当前最先进技术,AEE 平均误差可以达到约 22.71%的平均降低,是目前无监督学习方法中排名第一的。
May, 2023
利用动态视觉传感器或事件相机进行视频帧插值,结合 RGB 信息的事件引导光流细化策略和分阶段的中间帧合成策略,可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。
Jul, 2023
本研究针对动态视觉传感器(DVS)输出的稀疏事件数据,提出了一种轻量级、无监督学习的深度、光流和自我运动估计的机器学习架构,称为 ECN。本研究是第一个仅使用上述稀疏事件数据产生密集深度和光流的单目管道,网络工作在自监督模式下,仅有 150k 个参数,通过实验证明本架构在低光照环境下也有优良性能。
Sep, 2018
本文提出了一种新颖的输入表示法,捕捉事件的时间分布以增强信号,并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码 - 解码神经网络体系结构,其中允许整合一些基于帧的核心模块,如相关层和迭代残差精化方案,它在 Multi-VehicleStereoEventCamera 数据集上进行自我监督学习的端到端训练,表现优于现有所有最先进的方法。
Sep, 2021