光流、深度和自运动的无监督事件学习

Dec, 2018

光流、深度和自运动的无监督事件学习

Unsupervised Event-based Learning of Optical Flow, Depth, and Egomotion

Alex Zihao Zhu, Liangzhe Yuan, Kenneth Chaney, Kostas Daniilidis

TL;DR提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。

Abstract

In this work, we propose a novel framework for unsupervised learning for event cameras that learns motion information from only the event stream. In particular, we propose an input representation of the events in

unsupervised learning event cameras neural network motion compensation loss function

发现论文，激发创造

EV-FlowNet: 自监督事件型相机光流估计

本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

Feb, 2018

从稀疏事件数据无监督学习密集光流、深度和自运动

本研究针对动态视觉传感器（DVS）输出的稀疏事件数据，提出了一种轻量级、无监督学习的深度、光流和自我运动估计的机器学习架构，称为 ECN。本研究是第一个仅使用上述稀疏事件数据产生密集深度和光流的单目管道，网络工作在自监督模式下，仅有 150k 个参数，通过实验证明本架构在低光照环境下也有优良性能。

Sep, 2018

3D-FlowNet：使用三维表示的事件驱动光流估计

本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

Jan, 2022

视频中深度和自运动的无监督学习

本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

Apr, 2017

使用双层优化进行光流和自我运动的联合无监督学习

利用几何约束将光流和相机运动估计问题融合为一个双层优化问题，进一步优化了基于无监督深度学习框架的光流估计和相机运动估计的质量，相较于其他无监督学习方法，获得了更好的结果。

Feb, 2020

EV-MGRFlowNet: 基于运动导向的循环网络的非监督事件驱动光流估计与混合运动补偿损失

本文提出了一种基于事件相机的无监督光流估计算法 EV-MGRFlowNet，该方法使用带有运动引导的循环网络和混合运动补偿损失，充分利用先前的隐藏状态和运动流，并强化几何约束以更准确地对齐事件，实验结果表明，相对于 MVSEC 数据集上的当前最先进技术，AEE 平均误差可以达到约 22.71％的平均降低，是目前无监督学习方法中排名第一的。

May, 2023

使用事件相机进行单张图像的光流估计

该研究探讨了如何利用事件相机和模糊图像进行光流估计，提出了一种基于事件相机和模糊图像的光流估计算法，并通过实验验证了该算法的优越性。

Apr, 2020

E-RAFT: 来自事件相机的稠密光流

本文提出了一种针对事件相机的全新稠密光流计算方法，通过引入特征相关性与顺序处理的设计思路，相比于现有方案在数据集 MVSEC 上将终点误差降低了 23％，并提出一种新的数据集，更能反映现实场景中物体的运动情况，最终结果的终点误差比之前的方案减少了 66%。

Aug, 2021

基于自我监督的事件驱动单目深度估计与跨模态一致性

提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth，利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程，并且在推理中仅使用事件进行单目深度预测，同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征，并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性，并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。

Jan, 2024

从事件中学习单目浓密深度

本文介绍了事件相机及其与传统图像传感器的区别，讨论了基于学习的方法如何应用于事件数据，提出了使用循环架构来预测单眼深度的新方法，并在 CARLA 模拟器数据集上进行了预训练并在 MVSEC 上进行了测试，结果表明平均深度误差减小了 50%。

Oct, 2020