非刚性残余流和自我运动的自监督学习
本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测,通过分片刚性运动估计生成伪场景流标签进行自监督学习,实验证明该方法在自监督场景流学习方面取得了新的最先进性能,并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。
Oct, 2023
利用物体水平推理,我们提出了一种数据驱动的场景流估计算法,适用于近期发布的无人驾驶大规模数据集。我们的方法能够提供从点流到刚性物体的全局场景理解的低级和高级线索,并在四个不同的无人驾驶数据集上展示了其有效性和泛化能力。
Feb, 2021
我们研究了从真实大规模原始点云序列中自监督估计 3D 场景流的问题,该问题对于轨迹预测或实例分割等各种任务至关重要。我们提出了一种新颖的聚类方法,允许组合重叠的软聚类和非重叠的刚性聚类表示。我们的方法在多个具有 LiDAR 点云的数据集上进行了评估,证明了优于自监督基线的卓越性能,达到了最新的技术水平。特别是在解决含有行人、骑自行车者和其他易受伤害道路用户的复杂动态场景中,我们的方法表现出色。我们的代码将公开提供。
Apr, 2024
本文介绍了一种使用自我监督的技术,基于最近邻和循环一致性,来训练场景流模型,从而解决在自动驾驶过程中对高动态环境的非刚性物体移动的计算问题,并且其性能优于当前标注了实际场景流数据的最新的有监督学习方法.
Dec, 2019
通过无监督学习框架,我们提出了一种将运动立体相机观察到的 3D 场景流分解为静止场景元素和动态物体运动的方法。我们利用三个协同工作的网络来预测立体匹配、相机运动和残留流,并明确估计基于残留流和场景深度的动态物体的 3D 场景流。在 KITTI 数据集上的实验表明,我们的方法在光流和视觉里程计任务上优于其他现有算法。
Sep, 2019
本研究提出了一种简单且可解释的目标函数来从点云中计算场景流,既可以用于有监督的学习,又可以用于自监督学习,或者在运行时进行优化,其优于先前相关工作,且在动态环境下的运动分割和点云密集化等应用方面具有即时性。
Oct, 2020
我们提出了一种名为 EMR-MSF 的优越模型,通过借鉴监督学习范围内的网络架构设计,在两个时间连续的单目图像中理解三维结构和三维运动,并进一步通过精心构建的相机运动聚合模块塑造出显式和强健的几何约束;该模块提出了一个刚性软遮罩来过滤出稳定的自运动估计中的动态区域,并采用静态区域。此外,我们提出了一个运动一致性损失和一个遮罩正则化损失来充分利用静态区域。整合了几种高效的训练策略,包括梯度分离技术和增强的视角合成过程以获得更好的性能。我们的方法在 KITTI 场景流基准中将自监督单目方法的 SF-all 指标提高了 44%,并在深度和视觉里程计等子任务以及其他自监督单一任务或多任务方法中展现出卓越的性能。
Sep, 2023
本文提出了一种新的自监督训练方法和架构,实现了三维场景流估计,优于传统的结构,包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。
Apr, 2021
本文提出的单目场景流(Scene Flow)估计方法基于一个卷积神经网络(CNN),通过充分考虑光流代价体积,成功估算出深度和三维运动。我们采用了自监督学习方法,利用三维损失函数和遮挡推理来提高估计精度。实验结果表明,该方法在单目场景流估计领域取得了最佳性能,同时在光流和单目深度估计子任务上也获得了很好的结果。
Apr, 2020
本文提出一个基于度量学习的自监督场景流估计方法,包括多尺度三元损失和周期一致性损失,使用提出的基准测试 Scene Flow Sandbox 显著提高了自监督场景流估计的性能。
Nov, 2020