CVPRNov, 2020

EffiScene: 用于光流、深度、相机姿态和运动分割的高效像素刚性推断的无监督联合学习

PDF
TL;DR本论文提出一种 EffiScene 场景流框架，通过 Rigidity from Motion 层的学习，同时联合学习光流、深度、相机姿态和运动分割 4 个底层视觉子任务，有效地解决了无监督场景流估计问题。实验证明，该方法在 KITTI 基准测试中，明显提高了所有子任务的表现。
unsupervised scene flow estimationlow-level vision sub-taskseffiscenerigidity from motion layerkitti benchmark
发现论文，激发创造
  • 基于移动相机的动态场景刚性学习与三维运动场估计

    本文提出在监督学习的基础上通过学习场景的刚性结构，从两张图片中推断场景对于相机的运动以及产生的 3D 场景流结构，相比于其他 3D 场景流预测方法表现更佳，并提供了半合成动态场景数据集和评估拆分。

    Apr, 2018

  • 快速多帧立体场景流与运动分割

    本研究提出了一种新的多帧场景流计算方法，包括景深和光流以及相机自运动，同时从移动立体相机中观察动态场景，并将移动对象与固定场景分割开来。该技术在立体匹配和视觉里程计中使用独特的策略，融合移动目标的光流信息和相机基于运动流的信息来提高场景深度和相机自运动估计的精度和效率。

    Jul, 2017

  • UFD-PRiME: 通过像素级刚体运动估计进行光流和立体深度的无监督联合学习

    用联合训练的方式估计光流与视差，进而获取更精细的遮挡与物体边界，同时估计动态物体的刚体运动。

    Oct, 2023

  • 基于局部刚性先验的自监督三维场景流估计和运动预测

    本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测，通过分片刚性运动估计生成伪场景流标签进行自监督学习，实验证明该方法在自监督场景流学习方面取得了新的最先进性能，并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。

    Oct, 2023

  • 刚性三维场景流的弱监督学习

    利用物体水平推理，我们提出了一种数据驱动的场景流估计算法，适用于近期发布的无人驾驶大规模数据集。我们的方法能够提供从点流到刚性物体的全局场景理解的低级和高级线索，并在四个不同的无人驾驶数据集上展示了其有效性和泛化能力。

    Feb, 2021

  • 强健性遇上深度学习：一种端到端的混合流水线用于无监督学习自我运动

    本文提出一种方法，将深度学习光流和单目视差的预测与基于模型的优化过程相结合，用于瞬时相机姿态估计，并在 KITTI 数据集上展示了最新的结果

    Dec, 2018

  • EMR-MSF: 自监督循环单目场景流利用自运动刚体性

    我们提出了一种名为 EMR-MSF 的优越模型，通过借鉴监督学习范围内的网络架构设计，在两个时间连续的单目图像中理解三维结构和三维运动，并进一步通过精心构建的相机运动聚合模块塑造出显式和强健的几何约束；该模块提出了一个刚性软遮罩来过滤出稳定的自运动估计中的动态区域，并采用静态区域。此外，我们提出了一个运动一致性损失和一个遮罩正则化损失来充分利用静态区域。整合了几种高效的训练策略，包括梯度分离技术和增强的视角合成过程以获得更好的性能。我们的方法在 KITTI 场景流基准中将自监督单目方法的 SF-all 指标提高了 44％，并在深度和视觉里程计等子任务以及其他自监督单一任务或多任务方法中展现出卓越的性能。

    Sep, 2023

  • 使用双层优化进行光流和自我运动的联合无监督学习

    利用几何约束将光流和相机运动估计问题融合为一个双层优化问题，进一步优化了基于无监督深度学习框架的光流估计和相机运动估计的质量，相较于其他无监督学习方法，获得了更好的结果。

    Feb, 2020

  • 高效准确的场景流连续优化方法

    本文提出了一种用于从立体影像中求解密集的三维场景流问题的连续优化方法，其中将动态三维场景表示为一系列刚性运动的平面段，使用预先确定的精细超像素分割，将问题分解为光度学、几何和平滑约束，并使用 Levenberg-Marquardt 进行全局非线性优化。

    Jul, 2016

  • 大部分为刚体场景下的光流

    文章提出了一种综合了静态和非约束场景下光流方法的算法，可以同时估计运动物体的分割和相机运动的 3D 结构，具有更高的精度。

    May, 2017