EV-FlowNet: 自监督事件型相机光流估计
本文提出卷积神经网络模型,将光流估计问题作为监督式学习任务,通过生成合成数据集进行训练,成功实现在计算机视觉领域特别是识别任务中广泛应用的卷积神经网络模型在光流估计任务上的成功率。
Apr, 2015
本文提出了一种基于端到端学习的光流估计方法,该方法通过数据给特定学习任务提供重要信息,并且采用了堆叠式架构及对小运动专门优化的子网络,使得计算速度得到了提升,同时精度与业界领先的方法相当;相比于原始的FlowNet,FlowNet 2.0 计算速度基本不降反升,估计误差降低了超过50%。
Dec, 2016
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的CNN来利用多帧的时间信息来获得更好的光流估计。该方法在MPI Sintel、KITTI 2012和2015等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
利用卷积神经网络从一对时间图像帧中模拟事件的方法,可克服事件相对于计算机视觉问题的限制。在大规模图像数据集上,通过这种模拟数据,训练用于对象检测和2D人体姿势估计的下游网络,能够成功推广到真实事件数据集上。
Dec, 2019
本文提出了一种新颖的输入表示法,捕捉事件的时间分布以增强信号,并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码-解码神经网络体系结构,其中允许整合一些基于帧的核心模块,如相关层和迭代残差精化方案,它在Multi-VehicleStereoEventCamera数据集上进行自我监督学习的端到端训练,表现优于现有所有最先进的方法。
Sep, 2021
本文提出了一种改进的2D编码事件数据的3D表达方法,并介绍了3D-FlowNet网络体系结构以进行光流估计,并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明,我们的3D-FlowNet具有更好的性能。
Jan, 2022
本文提出了一种基于事件相机的无监督光流估计算法EV-MGRFlowNet,该方法使用带有运动引导的循环网络和混合运动补偿损失,充分利用先前的隐藏状态和运动流,并强化几何约束以更准确地对齐事件,实验结果表明,相对于MVSEC数据集上的当前最先进技术,AEE平均误差可以达到约22.71%的平均降低,是目前无监督学习方法中排名第一的。
May, 2023
该研究提出了一种新的SNN-ANN混合体系结构,该体系结构结合了事件图像和异步计算的优势,用于光流估计,实验结果表明,与以往的混合体系结构,ANN-only和SNN-only体系结构相比,该混合体系结构在准确性和效率方面均有显著提升。
Jun, 2023