无监督事件驱动独立运动分割
本研究提出了基于事件的学习方法,用于室内场景下的运动分割,并提出了第一个事件数据集 - EV-IMO。该研究基于使用低参数神经网络结构在事件数据上实施 SfM 学习流程的高效实现。在 EV-IMO 数据集上,该方法优于其他竞争者,并适用于机器人应用。
Mar, 2019
通过在事件数据和光流信息上利用自监督变换器,我们提出的方法克服了事件驱动运动分割的限制,消除了人工注释的需求,并减少了参数调整问题,实现了在多个数据集上与现有方法相比的最新性能,适用于高动态航空平台上的高清事件摄像头在城市环境中处理各种类型的运动并处理任意数量的移动对象。
May, 2024
本文介绍了一种基于事件相机的运动分割方法,可以成功应用于复杂的大规模室外环境,采用创新的分而治之流程结合状态理解模块和光流模块,以及基于 Transformer 的时间关注模块进行运动分割,在经典的室内 EV-IMO 基准测试和基于 DSEC 事件数据集的新生成的动态分割和跟踪基准测试中取得了最新的最佳表现。
Mar, 2024
本研究提出了第一种基于事件相机的感知运动信息分割方法,通过建立在事件感应技术和运动补偿上的目标函数联合估计事件 - 目标关联,从而实现了场景中的独立运动目标分割和运动参数估计,并在公共数据集上取得了比最新技术研究成果高达 10% 的有效结果。同时,我们还首次量化评估了运动分割算法,达到了大约 90% 的准确度。
Apr, 2019
本研究开发了一种基于事件的相机的方法,将问题转化为涉及多个运动模型的能量最小化问题,并利用时空图的形式下的输入事件数据的结构迭代地解决事件聚类分配和运动模型拟合两个子问题。实验结果表明,该方法具有很高的灵活性,在不同的场景中能够获取不同运动模式和移动物体的数量。
Dec, 2020
提出了一种基于事件相机的无监督学习框架,通过事件流中的运动信息来学习运动,该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数,并使用该框架训练了两个网络,一个用于预测光流,另一个用于预测自运动和深度。最后,使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。
Dec, 2018
提出了一种自我监督的基于事件感知的单目深度估计框架 EMoDepth,利用来自与像素坐标中的事件对齐的强度帧的跨模态一致性约束训练过程,并且在推理中仅使用事件进行单目深度预测,同时设计了多尺度跳跃连接架构以有效融合用于深度估计的特征,并保持高推理速度。在 MVSEC 和 DSEC 数据集上的实验证明了方法的有效性,并且精度能够超过现有的有监督基于事件感知和无监督基于帧的方法。
Jan, 2024
本文提出了利用事件相机数据进行自我中心行为识别的两种策略,并将其应用于首个基于事件相机的视频数据集,结果表明,事件数据不仅可在不需要流计算的情况下提供与 RGB 和光流同等的性能,而且相比仅使用 RGB 信息提高了 4%的表现。
Dec, 2021
提出了一种使用单目事件相机解决 6 自由度姿态跟踪和 3D 重建问题的 EVI-SAM 方法,通过深度图、短浮点函数融合和基于事件的映射方法实现鲁棒的姿态跟踪和稠密地图生成,在挑战性场景中展现卓越的性能表现。
Dec, 2023
本文提出了一种基于卷积神经网络 (CNN) 的完全无监督的运动分割方法,借鉴了期望最大化算法 (EM) 框架用于设计不需要地面真值或手动标注的运动分割神经网络的损失函数和训练过程,能够通过单一推断步骤为任何看不见的光流场提供分割,并能有效地处理多个运动。
Jan, 2022