CVPROct, 2023

基于局部刚性先验的自监督三维场景流估计和运动预测

PDF
TL;DR本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测，通过分片刚性运动估计生成伪场景流标签进行自监督学习，实验证明该方法在自监督场景流学习方面取得了新的最先进性能，并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。
self-supervised learning3d scene flow estimationpoint cloudsmotion predictionpseudo labels
发现论文，激发创造
  • 非刚性残余流和自我运动的自监督学习

    提出了一种端到端场景流学习的替代方法，通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流，引入了自监督信号以增强模型训练，能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。

    Sep, 2020

  • 让其流动：3D 流动和物体聚类的同时优化

    我们研究了从真实大规模原始点云序列中自监督估计 3D 场景流的问题，该问题对于轨迹预测或实例分割等各种任务至关重要。我们提出了一种新颖的聚类方法，允许组合重叠的软聚类和非重叠的刚性聚类表示。我们的方法在多个具有 LiDAR 点云的数据集上进行了评估，证明了优于自监督基线的卓越性能，达到了最新的技术水平。特别是在解决含有行人、骑自行车者和其他易受伤害道路用户的复杂动态场景中，我们的方法表现出色。我们的代码将公开提供。

    Apr, 2024

  • 3DSFLabelling: 通过伪自动标注提升三维场景流估计

    通过自动标记生成大量真实 LiDAR 点云的三维场景流伪标签，采用刚体运动假设模拟自治驾驶场景中的潜在物体级刚体运动，通过更新多个锚点框的不同运动属性，获得整个场景的刚体运动分解。在多个真实数据集上测试，方法在无监督和有监督方法中表现出色，无需手动标记。在 LiDAR KITTI 数据集上，我们的方法将 EPE3D 度量值减少了 10 倍，从 0.190 m 降至 0.008 m。

    Feb, 2024

  • 刚性三维场景流的弱监督学习

    利用物体水平推理，我们提出了一种数据驱动的场景流估计算法，适用于近期发布的无人驾驶大规模数据集。我们的方法能够提供从点流到刚性物体的全局场景理解的低级和高级线索，并在四个不同的无人驾驶数据集上展示了其有效性和泛化能力。

    Feb, 2021

  • 使用嘈杂的伪标签学习 3D 点云中的场景流

    本文提出一种利用单目 RGB 图像和点云生成伪场景流标签进行训练的方法，通过采用点云中的几何信息和单目图像中的外观信息，以及利用几何关系的噪声标签感知训练网络的技术来实现对点云中的伪场景标签推断，从而进一步降低对训练的负面影响。实验结果表明，该方法不仅优于现有一些自监督方法，而且还优于使用准确的地面实况的一些监督方法。

    Mar, 2022

  • 基于遮挡引导的自监督三维点云场景流量估计

    本文提出了一种新的自监督训练方法和架构，实现了三维场景流估计，优于传统的结构，包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。

    Apr, 2021

  • 基于概率密度函数对齐的自监督稳健场景流估计

    本文提出了一种新的自监督场景流估计方法，利用高斯混合模型将离散点云表示为连续的概率密度函数，并使用经典 Cauchy-Schwarz 散度的闭合式表达式从概率密度函数的对齐中恢复运动，通过建立软性隐式点对应关系生成更稳健和准确的场景流，实验结果表明该方法在现实环境中的 FlyingThings3D 和 KITTI 数据集上的性能优于现有方法，甚至超过了一些有监督的方法。

    Mar, 2022

  • 自点流：基于最优传输和随机游走的自监督点云场景流估计

    本文提出一种基于最优传输的自监督方式，利用多个描述符构建传输成本矩阵并通过质量相等约束鼓励一对一匹配，同时引入随机漫步模块来鼓励伪标签的局部一致性，通过在 FlyingThings3D 和 KITTI 数据集上的全面实验表明，该方法在自监督学习方法中取得了最先进的表现，甚至表现与一些监督学习方法相当，而不需要任何地面真实流进行训练。

    May, 2021

  • 跟随视觉流动：自监督场景光流估计

    本文介绍了一种使用自我监督的技术，基于最近邻和循环一致性，来训练场景流模型，从而解决在自动驾驶过程中对高动态环境的非刚性物体移动的计算问题，并且其性能优于当前标注了实际场景流数据的最新的有监督学习方法.

    Dec, 2019

  • 由超点引导的无监督 3D 场景流估计

    本文提出了一种基于可动态更新超级点的 3D 场景流估计框架，该框架结合超级点生成模块和超级点导向流细化模块，通过流提导超级点的生成和可适应聚合超级点级流来重建点的流，并将一致性编码和重建流输入 GRU 以细化点级流，实现了对复杂 3D 场景的准确估计。

    May, 2023