快速,稳健,连续单目自运动计算
本文提出了一项新颖的自监督学习模型,用于从视频中估计连续的自我运动。该模型通过观察 RGBD 或 RGB 视频流来学习估计相机运动,并确定正确预测未来帧外观的平移和旋转速度。我们的方法不同于其他自我监督结构运动的最近工作,其使用连续运动表述和刚体运动领域的表示,而不是直接预测相机参数。为了使估计在具有多个移动物体的动态环境中具有鲁棒性,我们介绍了一个简单的双组分分割过程,将刚性背景环境与动态场景元素分离。我们在几个基准自我运动数据集上展示了自我训练模型的最新准确性,并突出了该模型提供超强的旋转精度和对非刚性场景运动的处理能力。
Jun, 2018
我们提出了一种从手持单目视频中估计拥挤真实场景中相机旋转的方法,通过在 SO (3) 上引入 Hough 变换,可在光流中高效而鲁棒地找到与之最相符的相机旋转,且在速度上比其他方法更准确。
Sep, 2023
利用几何约束将光流和相机运动估计问题融合为一个双层优化问题,进一步优化了基于无监督深度学习框架的光流估计和相机运动估计的质量,相较于其他无监督学习方法,获得了更好的结果。
Feb, 2020
本文提出一种方法,将深度学习光流和单目视差的预测与基于模型的优化过程相结合,用于瞬时相机姿态估计,并在 KITTI 数据集上展示了最新的结果
Dec, 2018
提出了一种端到端场景流学习的替代方法,通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流,引入了自监督信号以增强模型训练,能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。
Sep, 2020
我们提出了一种名为 EMR-MSF 的优越模型,通过借鉴监督学习范围内的网络架构设计,在两个时间连续的单目图像中理解三维结构和三维运动,并进一步通过精心构建的相机运动聚合模块塑造出显式和强健的几何约束;该模块提出了一个刚性软遮罩来过滤出稳定的自运动估计中的动态区域,并采用静态区域。此外,我们提出了一个运动一致性损失和一个遮罩正则化损失来充分利用静态区域。整合了几种高效的训练策略,包括梯度分离技术和增强的视角合成过程以获得更好的性能。我们的方法在 KITTI 场景流基准中将自监督单目方法的 SF-all 指标提高了 44%,并在深度和视觉里程计等子任务以及其他自监督单一任务或多任务方法中展现出卓越的性能。
Sep, 2023
通过一种自监督学习框架,提出一种基于动态关注模块的两阶段投影管道,以明确解耦相机自我运动和物体运动,并提出了一种基于对比采样一致性的物体运动场估计方法,该方法在自监督单目深度估计、物体运动分割、单目场景流估计和视觉里程表任务上均优于现有的最先进算法。
Oct, 2021
研究了基于点对应关系推断图像对之间摄像机运动的问题,提出了一个基于最大似然问题的量测模型和两步算法,证明了该算法具有渐近统计性质,并在稠密点对应情况下具有显著优势。
Mar, 2024
提出了一种基于事件相机的无监督学习框架,通过事件流中的运动信息来学习运动,该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数,并使用该框架训练了两个网络,一个用于预测光流,另一个用于预测自运动和深度。最后,使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。
Dec, 2018
通过 2D-2D 特征匹配技术,利用旋转平均算法设计一种可快速而又准确地估算单目相机旋转方向的系统,该系统通过维护一个视图图形并解决旋转问题来估算摄像机轨迹和地图,并驱动 V-SLAM 系统跟踪纯旋转运动。
Oct, 2020