通过提炼单一任务知识来学习端到端场景流
本文提出了一种基于深度学习网络、自我监督和知识蒸馏的训练协议,能够同时学习单目摄像机所需的几何、运动和语义信息,从而实现对整个场景的全面识别。实验结果表明,该框架不仅在单目深度估计、光流和运动分割等任务中取得了最先进的性能表现,并且能够在高性能 GPU 和低功耗嵌入式平台上实现高效的应用。
Mar, 2020
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本文提出一种基于深度学习技术和强先验的场景流估计方法,在自动驾驶领域中利用机器人动作和场景中演员的三维运动来优化一个深度结构模型,通过 Gaussian-Newton 求解器的展开来有效地进行能量最小化,实验结果表明,在 KITTI 场景流数据集中,我们的方法在性能上优于现有技术,并且速度快 800 倍。
Apr, 2019
本研究提出了一种新的多帧场景流计算方法,包括景深和光流以及相机自运动,同时从移动立体相机中观察动态场景,并将移动对象与固定场景分割开来。该技术在立体匹配和视觉里程计中使用独特的策略,融合移动目标的光流信息和相机基于运动流的信息来提高场景深度和相机自运动估计的精度和效率。
Jul, 2017
DDFlow 是一种基于数据净化的方法,可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流,并能够为被遮挡像素进行光流估计,从而实现了更高的准确性。在 Flying Chairs、MPI Sintel、KITTI 2012 和 2015 基准测试中,DDFlow 的性能显著优于所有现有的无监督学习方法,同时实现了实时运行。
Feb, 2019
DFPNet 是一种联合学习系统,通过单眼图像序列估计单眼景深、光流和自身运动(相机姿态),使用单一的复合损失函数进行训练,并使用超参数调整来使模型的大小小于目前市场上同类模型的 5%以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估,结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现,即使模型大小明显更小。
May, 2022
本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法,该方法在保持实时效率的同时显著提高了准确性,并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。
May, 2021
通过无监督学习框架,我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流,并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明,我们的方法在光流和视觉里程计任务上优于其他现有算法。
Sep, 2019
使用卷积神经网络中的 PWOC-3D 架构来解决场景流问题,该架构使用专门的设计决策来处理大运动和遮挡等挑战,并提出了一种自监督策略来预测图像中的遮挡,从而在 KITTI 基准测试和具有挑战性的 FlyingThings3D 数据集上实现了具有竞争力的结果。
Apr, 2019