May, 2023

EV-MGRFlowNet: 基于运动导向的循环网络的非监督事件驱动光流估计与混合运动补偿损失

HTML
PDF
TL;DR本文提出了一种基于事件相机的无监督光流估计算法EV-MGRFlowNet，该方法使用带有运动引导的循环网络和混合运动补偿损失，充分利用先前的隐藏状态和运动流，并强化几何约束以更准确地对齐事件，实验结果表明，相对于MVSEC数据集上的当前最先进技术，AEE平均误差可以达到约22.71％的平均降低，是目前无监督学习方法中排名第一的。
发现论文，激发创造
  • 光流和下一帧预测的混合学习，提升野外场景的光流表现

    本研究使用自监督学习辅助提高CNN-based光流估计在实际情境中的性能，在合成和真实场景下混合训练神经网络并采用样本多变量多任务结构，以预测next-flow代替当前光流估计，并取得了较好的性能，实验结果表明总体改善了在实际KITTl基准测试中的光流估计。

    Dec, 2016

  • EV-FlowNet: 自监督事件型相机光流估计

    本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

    Feb, 2018

  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用Multi Vehicle Stereo Event Camera数据集进行了定量和定性结果的评估。

    Dec, 2018

  • 一个可微分的面向异步事件数据的循环表面

    本文提出Matrix-LSTM，基于一系列LSTM节点的网格结构可以高效处理事件，并且可以学习端到端的基于任务的事件表面，比现有的重建方法具有更好的灵活性和表现力，在MVSEC基准测试中对光流估计以及在N-Cars数据集上的事件分类方面，跑出state-of-the-art的成绩。

    Jan, 2020

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集MVSEC上将终点误差降低了23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了66%。

    Aug, 2021

  • 时空循环神经网络用于基于事件的光流估计

    本文提出了一种新颖的输入表示法，捕捉事件的时间分布以增强信号，并介绍了一种利用卷积门控循环单元从一系列事件图像中提取特征图的时空循环编码-解码神经网络体系结构，其中允许整合一些基于帧的核心模块，如相关层和迭代残差精化方案，它在Multi-VehicleStereoEventCamera数据集上进行自我监督学习的端到端训练，表现优于现有所有最先进的方法。

    Sep, 2021

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • 最佳双赢：用于事件光流估计的混合SNN-ANN体系结构

    该研究提出了一种新的SNN-ANN混合体系结构，该体系结构结合了事件图像和异步计算的优势，用于光流估计，实验结果表明，与以往的混合体系结构，ANN-only和SNN-only体系结构相比，该混合体系结构在准确性和效率方面均有显著提升。

    Jun, 2023

  • 基于事件相机的任意时间光流估计

    本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow，其中关键组件为堆叠的时空运动细化模块，可通过时空运动细化预测时间密集的光流并增强其准确性，同时还引入了用于无监督评估中间光流的修正流变形误差损失(RFWL)。

    Jul, 2023

  • 稠密连续时间运动估计的运动先验对比度最大化

    本研究提出了一种新的自监督损失方法，将对比最大化框架与非线性运动先验相结合，形成像素级轨迹，并提出了一种有效的解决非线性轨迹和事件之间的高维赋值问题的方法。在两个场景中证明了其有效性：在密集连续时间运动估计中，我们的方法在实际数据集EVIMO2上提高了合成训练模型的零样本性能29%。在光流估计中，我们的方法将简单的UNet提升到在DSEC光流基准测试中达到了最先进的性能。

    Jul, 2024