Jul, 2024

通过特征相似性匹配统一事件驱动的光流、立体和深度估计

HTML
PDF
TL;DR本研究针对事件相机在光流估计、立体匹配和深度估计中的任务分散问题，提出了一种名为EventMatch的统一框架，将这些任务重新表述为事件驱动的密集对应匹配问题。实验结果表明，该模型在光流和视差估计任务中表现优异，具有跨任务转移能力，能够同时处理多种视觉任务而无需重新训练。
发现论文，激发创造
  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用Multi Vehicle Stereo Event Camera数据集进行了定量和定性结果的评估。

    Dec, 2018

  • 通过时空对应将立体匹配和光流联系起来

    本文提出一种单一和原则性网络，用于联合学习立体匹配和流估计的时空对应关系，通过设计的几何连接作为临近时间内的立体对的无监督信号。结果表明，我们的方法对于KITTI基准数据集上的无监督深度和流估计都优于几种最先进的基线方法。

    May, 2019

  • 从事件中学习单目浓密深度

    本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在CARLA模拟器数据集上进行了预训练并在MVSEC上进行了测试，结果表明平均深度误差减小了50%。

    Oct, 2020

  • E-RAFT: 来自事件相机的稠密光流

    本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集MVSEC上将终点误差降低了23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了66%。

    Aug, 2021

  • 统一流场、立体和深度估计

    本文提出了一种统一的模型形式和模型，可以用于光流、矫正立体匹配和从定位图像中估计无校准立体深度。该模型使用Transformer中的交叉注意力机制实现判别特征表示，并在允许跨任务转移的同时，在多个数据集上实现或超过现有最新方法的性能。

    Nov, 2022

  • 基于事件相机的任意时间光流估计

    本研究提出了一种高帧率、低延迟的事件表示 Unified Voxel Grid 和基于事件的任意时刻光流估计网络 EVA-Flow，其中关键组件为堆叠的时空运动细化模块，可通过时空运动细化预测时间密集的光流并增强其准确性，同时还引入了用于无监督评估中间光流的修正流变形误差损失(RFWL)。

    Jul, 2023

  • 重新审视基于事件的视频帧插值

    利用动态视觉传感器或事件相机进行视频帧插值，结合RGB信息的事件引导光流细化策略和分阶段的中间帧合成策略，可以获得比先前的视频帧插值方法更可靠和更真实的中间帧结果。

    Jul, 2023

  • 事件驱动光流的向量符号架构

    基于高维特征描述符的事件帧光流估计方法，在特征匹配方法论中取得了显著进展。

    May, 2024

  • 基于时序事件的立体视觉算法及深度估计

    事件相机是受生物视网膜启发的动态视觉传感器，具有高动态范围、高时间分辨率和低功耗等特点。该研究提出了一种新颖的时间事件立体视觉框架，通过连续利用先前时间步骤的信息来提高事件立体匹配的性能，并使用视差图来训练立体光流，从而实现对3D环境的感知。在MVSEC和DSEC数据集上实现了最先进的性能。

    Jul, 2024

  • 基于事件的立体深度估计：一项综述

    本研究针对基于事件的立体深度估计领域中的信息不对称和方法多样性问题，提供了一次全面的综述。论文首次系统性审视了深度学习方法以及立体数据集，提出实用建议以创建新的基准，促进该领域的发展。尽管已有显著进展，但在准确性和效率方面仍需努力，本文指明了研究中的若干空白，为未来研究方向提出建议。

    Sep, 2024