自监督多帧单眼场景流
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本文提出了一种新的自监督训练方法和架构,实现了三维场景流估计,优于传统的结构,包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。
Apr, 2021
本文介绍了一种使用自我监督的技术,基于最近邻和循环一致性,来训练场景流模型,从而解决在自动驾驶过程中对高动态环境的非刚性物体移动的计算问题,并且其性能优于当前标注了实际场景流数据的最新的有监督学习方法.
Dec, 2019
本文提出一个基于度量学习的自监督场景流估计方法,包括多尺度三元损失和周期一致性损失,使用提出的基准测试 Scene Flow Sandbox 显著提高了自监督场景流估计的性能。
Nov, 2020
本研究提出了一种自监督学习的方法,通过利用非遮挡像素估计可靠的光流,用于学习虚假的遮挡。同时,通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能,并且该自监督预训练模型为监督微调提供了极好的初始化,其微调后的模型在三个数据集上均取得了最先进的结果。
Apr, 2019
该论文提出了一种基于循环神经网络的场景流场估计方法,并通过迭代逐步优化的方式提高了其预测精度,在 FlyingThings3D 数据集上训练后成功地将其推广到实际应用中,并在 KITTI 基准测试中大幅优于现有方法。
Nov, 2020
我们提出了一种名为 EMR-MSF 的优越模型,通过借鉴监督学习范围内的网络架构设计,在两个时间连续的单目图像中理解三维结构和三维运动,并进一步通过精心构建的相机运动聚合模块塑造出显式和强健的几何约束;该模块提出了一个刚性软遮罩来过滤出稳定的自运动估计中的动态区域,并采用静态区域。此外,我们提出了一个运动一致性损失和一个遮罩正则化损失来充分利用静态区域。整合了几种高效的训练策略,包括梯度分离技术和增强的视角合成过程以获得更好的性能。我们的方法在 KITTI 场景流基准中将自监督单目方法的 SF-all 指标提高了 44%,并在深度和视觉里程计等子任务以及其他自监督单一任务或多任务方法中展现出卓越的性能。
Sep, 2023
本文利用自监督多帧流表示和单帧三维检测假设之间的关系,将自监督训练策略与监督三维检测结合,提出一种利用场景流估计的自监督训练方法来增强三维检测性能的技术。实验表明,所提出的自监督预训练显著提高了三维检测性能。
May, 2022
本文提出了一种自我监督方法 SeFlow,能够通过将动态点进行分类来改善学习场景流流程的性能,尤其是在物体的细节上,从而实现自主车辆精确预测和理解环境动态变化的能力。
Jul, 2024
本文提出了一种基于时空动态模型的无监督光流估计方法,使用视图合成的自我监督学习来提供可靠的运动先验信息,利用邻帧的运动先验来改善光流估计中遮挡区域的监督,采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式,实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。
Apr, 2023