May, 2024

UNION: 基于物体外观的无监督三维物体检测

PDF
TL;DR通过使用无监督的三维物体检测方法，利用大量数据而不需要手动标注进行训练，我们提出了一种名为 UNION 的方法，通过空间聚类和自监督场景流来获取来自 LiDAR 的静态和动态物体提案，并通过编码物体提案的视觉外观来区分前景和背景中的静态物体，从而实现联合训练现有检测器的目的。此外，我们使用基于物体外观的聚类标签作为训练物体分类的伪类标签，将三维物体发现扩展到检测任务中。经过在 nuScenes 数据集上进行广泛实验，我们将无监督物体发现的最优性能提高到 33.9，超过当前技术水平的两倍。代码将公开发布。
unsupervised 3d object detectiondynamic objectsstatic instancesself-supervised scene flowobject appearance-based cluster labels
发现论文，激发创造
  • 利用激光雷达线索进行无监督目标检测

    通过利用 LiDAR 数据辅助进行无监督的二维对象检测，同时采用基于 3D 点云和 2D 图像特征的迭代分割标签网络对候选对象进行标签生成和训练，从而解决了之前存在的问题，得到了较为合理的检测结果。

    Nov, 2020

  • 面向无监督的基于 LiDAR 点云的物体检测

    我们研究在自动驾驶场景中从 3D 点云中进行无监督对象检测的问题，提出了一种简单而有效的方法，利用点聚类、时间一致性、CNN 的平移等性质以及自我监督来改进无监督检测算法，通过在非相近区域进行自动标记扩展到远距离，从而实现了零 - shot 方式的对象检测，能够在稀疏、远距离区域进行检测，同时在更多迭代自我训练的过程中不断改进。我们提出了基于碰撞距离的新的规划感知度量来更好地衡量模型在自动驾驶场景中的性能。我们在 PandaSet 和 Argoverse 2 Sensor 数据集上展示了我们的无监督对象检测器显著优于无监督基线的性能，证明了自我监督与对象先验相结合可以实现野外对象发现的潜力。

    Nov, 2023

  • DyStaB: 动静态自举无监督物体分割

    本文提出了一种无监督方法来检测和分割动态图像中的物体，通过深度神经网络将静态和动态模型进行训练，实现了物体的无监督分割和持续性学习。

    Aug, 2020

  • SeMoLi: 随波逐流

    我们提供了一种基于运动线索的半监督目标检测方法，结合启发式聚类方法和物体跟踪器，使用运动物体的伪标签作为监督信号，在 Lidar 数据中训练三维物体检测器。我们通过利用场景流估计中的最新进展获取点轨迹，并从中提取长期的、与类别无关的运动模式。通过在信息传递网络的上下文中重新思考相关聚类，我们学习将这些运动模式分组以聚类点到物体实例。通过估计物体的完整范围，我们获得每个扫描的三维边界框，并用它们来监督 Lidar 物体检测网络。我们的方法不仅优于先前的启发式方法（57.5 AP，相比之前的方法提高了 14 个百分点），更重要的是，我们证明了可以在不同数据集上使用伪标签训练目标检测器。

    Feb, 2024

  • 通过自监督学习从无标签 RGB-D 视频中学习物体分割

    该论文提出了一个自超视自学的物体分割系统，其训练过程利用了点云的超分割结果，利用图匹配算法和点云配准结合检测出 3D 假标签上的再现物体模式并生成 2D 掩码。实验证明，该方法在真实和合成的视频数据集上的表现优于现有的无监督方法。

    Apr, 2023

  • Uni3D: 多数据集三维物体检测的统一基线

    该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

    Mar, 2023

  • 道路边缘单元的高效标签三维物体检测

    通过无监督目标发现来解决数据密集型的自动驾驶安全应用中的遮挡问题，通过深度信息融合与智能路侧单元（RSU）的协同感知来提升自主车辆的感知能力，从而最大程度上减少遮挡的影响，并通过在少量标注数据上微调方法展示其优于或甚至超越完全监督模型的性能差距缩小的能力。

    Apr, 2024

  • 自助学习多模态预训练在 3D 目标检测中的应用

    通过使用与图像相关的 shelf-supervision 模型对配对的 RGB 和 LiDAR 数据进行无监督预训练，我们提出了一种能够生成零样本 3D 边界框的点云表示方法，这种方法在半监督检测中能够显著提高检测准确性，尤其适用于 LiDAR-only 和多模态 (RGB + LiDAR) 检测。我们在 nuScenes 和 WOD 上展示了我们方法的有效性，并在有限数据环境中明显改进了之前的工作。

    Jun, 2024

  • 自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

    本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

    Sep, 2023

  • 发现可移动的物体

    本文针对对象发现这一问题，通过选择动态对象并使用自编码器提取图像特征并加入来自运动分割的弱学习信号，成功地从复杂场景中分离出运动和静止的动态对象，相较于其它抽象特征的方法在 KITTI 数据集上有更好的表现。

    Mar, 2022