基本场景流的立体视差和光流相结合
本研究提出了一种新的多帧场景流计算方法,包括景深和光流以及相机自运动,同时从移动立体相机中观察动态场景,并将移动对象与固定场景分割开来。该技术在立体匹配和视觉里程计中使用独特的策略,融合移动目标的光流信息和相机基于运动流的信息来提高场景深度和相机自运动估计的精度和效率。
Jul, 2017
通过无监督学习框架,我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流,并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明,我们的方法在光流和视觉里程计任务上优于其他现有算法。
Sep, 2019
通过在 3D 驾驶环境中充分运用几何信息,我们提出了一种新的策略来建模无碰撞空间中的光流(亦称为可驾驶区域或简称自由空间),并提供了光流的明确表示和光流分量与垂直坐标之间的二次关系,通过对多个公共数据集进行广泛实验证明了我们模型的高准确性和稳健性,此外,我们提出的自由空间光流模型在自动驾驶领域内拥有多样的应用,能够在自由空间检测、车辆定位等方面提供几何约束。
Jul, 2023
我们提出了一种统一的方法来共同学习光流和立体匹配。我们的第一条直觉是,立体匹配可以被建模为光流的一种特殊情况,我们可以利用立体视频背后的三维几何来指导这两种形式的对应关系的学习。然后,我们将这个知识纳入到最先进的自我监督学习框架中,并训练一个单一的网络来估计流和立体。其次,我们揭示了先前自我监督学习方法中的瓶颈,并提出了创建一组新的具有挑战性的代理任务来提高性能的方法。这两个洞察力产生了一个单一的模型,在 KITTI 2012 和 2015 基准测试中,这些模型的准确性甚至超过了包括 PWC-Net 和 FlowNet2 在内的几种最先进的全监督方法。
Apr, 2020
本文提出了一种基于生成的深度图的方法,通过引入像素的稠密性来实现直接从 2D 图像学习 3D 场景流,以及利用统计方法和视差一致性损失来解决噪声点的问题,从而达到了更加有效的自监督学习 3D 场景流的目的。实验证明,这种方法优于合成数据集和激光雷达点云学习的方法,在场景流估计任务中表现出更好的稳定性和准确度。
Sep, 2022
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本文提出了一种基于学习的方法,可以联合估计离散或光流下的遮挡区域,通过估计遮挡和运动边界的线性提升结果,同时提供了基于 KITTI 基准测试的最新网络和良好的通用性能。而通过利用估计的遮挡,我们还展示了运动分割和场景流估计的改进结果。
Aug, 2018