ICCVSep, 2023

EMR-MSF: 自监督循环单目场景流利用自运动刚体性

PDF
TL;DR我们提出了一种名为 EMR-MSF 的优越模型，通过借鉴监督学习范围内的网络架构设计，在两个时间连续的单目图像中理解三维结构和三维运动，并进一步通过精心构建的相机运动聚合模块塑造出显式和强健的几何约束；该模块提出了一个刚性软遮罩来过滤出稳定的自运动估计中的动态区域，并采用静态区域。此外，我们提出了一个运动一致性损失和一个遮罩正则化损失来充分利用静态区域。整合了几种高效的训练策略，包括梯度分离技术和增强的视角合成过程以获得更好的性能。我们的方法在 KITTI 场景流基准中将自监督单目方法的 SF-all 指标提高了 44％，并在深度和视觉里程计等子任务以及其他自监督单一任务或多任务方法中展现出卓越的性能。
self-supervised monocular scene flow estimationnetwork architecture designrigidity soft maskmotion consistency losskitti scene flow benchmark
发现论文，激发创造
  • 自监督多帧单眼场景流

    本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法，该方法在保持实时效率的同时显著提高了准确性，并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。

    May, 2021

  • 自监督单目场景流估计

    本文提出的单目场景流（Scene Flow）估计方法基于一个卷积神经网络（CNN），通过充分考虑光流代价体积，成功估算出深度和三维运动。我们采用了自监督学习方法，利用三维损失函数和遮挡推理来提高估计精度。实验结果表明，该方法在单目场景流估计领域取得了最佳性能，同时在光流和单目深度估计子任务上也获得了很好的结果。

    Apr, 2020

  • 非刚性残余流和自我运动的自监督学习

    提出了一种端到端场景流学习的替代方法，通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流，引入了自监督信号以增强模型训练，能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。

    Sep, 2020

  • 关注和对比学习的联合深度和运动场估计

    通过一种自监督学习框架，提出一种基于动态关注模块的两阶段投影管道，以明确解耦相机自我运动和物体运动，并提出了一种基于对比采样一致性的物体运动场估计方法，该方法在自监督单目深度估计、物体运动分割、单目场景流估计和视觉里程表任务上均优于现有的最先进算法。

    Oct, 2021

  • CeMNet: 自我监督学习用于精准连续自我运动估计

    本文提出了一项新颖的自监督学习模型，用于从视频中估计连续的自我运动。该模型通过观察 RGBD 或 RGB 视频流来学习估计相机运动，并确定正确预测未来帧外观的平移和旋转速度。我们的方法不同于其他自我监督结构运动的最近工作，其使用连续运动表述和刚体运动领域的表示，而不是直接预测相机参数。为了使估计在具有多个移动物体的动态环境中具有鲁棒性，我们介绍了一个简单的双组分分割过程，将刚性背景环境与动态场景元素分离。我们在几个基准自我运动数据集上展示了自我训练模型的最新准确性，并突出了该模型提供超强的旋转精度和对非刚性场景运动的处理能力。

    Jun, 2018

  • 基于局部刚性先验的自监督三维场景流估计和运动预测

    本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测，通过分片刚性运动估计生成伪场景流标签进行自监督学习，实验证明该方法在自监督场景流学习方面取得了新的最先进性能，并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。

    Oct, 2023

  • EffiScene: 用于光流、深度、相机姿态和运动分割的高效像素刚性推断的无监督联合学习

    本论文提出一种 EffiScene 场景流框架，通过 Rigidity from Motion 层的学习，同时联合学习光流、深度、相机姿态和运动分割 4 个底层视觉子任务，有效地解决了无监督场景流估计问题。实验证明，该方法在 KITTI 基准测试中，明显提高了所有子任务的表现。

    Nov, 2020

  • Mono-SF: 多视角几何结合单视角深度用于动态交通场景单目场景流估计

    本文提出了一种称为 Mono-SF 的新型单目 3D 场景流估计方法，将多视角几何和单视深度信息相结合，使用统计方式的卷积神经网络 ProbDepthNet 来整合单视深度估计，并通过回校准技术提高估计深度的准确性。实验证明 Mono-SF 具有优于现有单目基线的性能，对 Mono-SF 方法和 ProbDepthNet 设计的削弱研究成果支持该方法。

    Aug, 2019

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 刚性三维场景流的弱监督学习

    利用物体水平推理，我们提出了一种数据驱动的场景流估计算法，适用于近期发布的无人驾驶大规模数据集。我们的方法能够提供从点流到刚性物体的全局场景理解的低级和高级线索，并在四个不同的无人驾驶数据集上展示了其有效性和泛化能力。

    Feb, 2021