ECCVApr, 2024

让其流动：3D 流动和物体聚类的同时优化

PDF
TL;DR我们研究了从真实大规模原始点云序列中自监督估计 3D 场景流的问题，该问题对于轨迹预测或实例分割等各种任务至关重要。我们提出了一种新颖的聚类方法，允许组合重叠的软聚类和非重叠的刚性聚类表示。我们的方法在多个具有 LiDAR 点云的数据集上进行了评估，证明了优于自监督基线的卓越性能，达到了最新的技术水平。特别是在解决含有行人、骑自行车者和其他易受伤害道路用户的复杂动态场景中，我们的方法表现出色。我们的代码将公开提供。
self-supervised 3d scene flow estimationpoint cloud sequencesobject rigidityrigid clusterslidar point clouds
发现论文，激发创造
  • 基于局部刚性先验的自监督三维场景流估计和运动预测

    本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测，通过分片刚性运动估计生成伪场景流标签进行自监督学习，实验证明该方法在自监督场景流学习方面取得了新的最先进性能，并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。

    Oct, 2023

  • 刚性三维场景流的弱监督学习

    利用物体水平推理，我们提出了一种数据驱动的场景流估计算法，适用于近期发布的无人驾驶大规模数据集。我们的方法能够提供从点流到刚性物体的全局场景理解的低级和高级线索，并在四个不同的无人驾驶数据集上展示了其有效性和泛化能力。

    Feb, 2021

  • 基于遮挡引导的自监督三维点云场景流量估计

    本文提出了一种新的自监督训练方法和架构，实现了三维场景流估计，优于传统的结构，包括多层融合技术在内的智能方法。研究结果在 Flyingthings3D 和 KITTI 数据集上均获得了监督和自监督训练的最新成果。

    Apr, 2021

  • 使用或不使用学习的点云场景流

    本研究提出了一种简单且可解释的目标函数来从点云中计算场景流，既可以用于有监督的学习，又可以用于自监督学习，或者在运行时进行优化，其优于先前相关工作，且在动态环境下的运动分割和点云密集化等应用方面具有即时性。

    Oct, 2020

  • 3DSFLabelling: 通过伪自动标注提升三维场景流估计

    通过自动标记生成大量真实 LiDAR 点云的三维场景流伪标签，采用刚体运动假设模拟自治驾驶场景中的潜在物体级刚体运动，通过更新多个锚点框的不同运动属性，获得整个场景的刚体运动分解。在多个真实数据集上测试，方法在无监督和有监督方法中表现出色，无需手动标记。在 LiDAR KITTI 数据集上，我们的方法将 EPE3D 度量值减少了 10 倍，从 0.190 m 降至 0.008 m。

    Feb, 2024

  • 非刚性残余流和自我运动的自监督学习

    提出了一种端到端场景流学习的替代方法，通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流，引入了自监督信号以增强模型训练，能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。

    Sep, 2020

  • OGC: 无监督点云刚体动力学三维物体分割

    本文提出了一种名为 OGC 的算法，为三维点云中多个 3D 物体的分割提供了无需人工标注的自监督方法，通过挖掘顺序点云中的动态运动模式作为监督信号来实现，进而实现了多物体刚体性一致性的有效考虑和对象形状不变性，在室内和具有挑战性的室外场景中广泛评估了该方法，证明了算法在对象实例分割和一般对象分割方面的杰出性能。

    Oct, 2022

  • 真实世界点云的可伸缩场景流

    本文介绍一种新的基于运动跟踪的大规模数据集并提出适用于全点云的 FastFlow3D 架构，以更好地进行场景流预测并提高现实世界的表现。

    Mar, 2021

  • 自点流：基于最优传输和随机游走的自监督点云场景流估计

    本文提出一种基于最优传输的自监督方式，利用多个描述符构建传输成本矩阵并通过质量相等约束鼓励一对一匹配，同时引入随机漫步模块来鼓励伪标签的局部一致性，通过在 FlyingThings3D 和 KITTI 数据集上的全面实验表明，该方法在自监督学习方法中取得了最先进的表现，甚至表现与一些监督学习方法相当，而不需要任何地面真实流进行训练。

    May, 2021

  • 利用表面感知和循环一致性对自监督三维场景流进行正则化

    无监督学习如何从点云中预测 3D 场景流是许多视觉系统的核心，本文提出了一种新颖的学习框架来改进必要的正则化，并通过引入两种新的一致性损失来扩大聚类，并防止它们扩散到不同的对象上，提高了现有模型的性能。

    Dec, 2023