Sep, 2023

跨模态和跨域知识迁移对无标签 3D 分割

PDF
TL;DR通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。
point cloud-based perception methodsunsupervised methodology3d perception taskscross-modal and cross-domain adaptation3d point cloud semantic segmentation
发现论文，激发创造
  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 跨模态自训练：无需标签的图像与点云对齐学习分类

    通过使用 Cross-MoST 优化框架，结合 CLIP 等 2D 视觉语言模型，可以提高无需标签的零样本 3D 视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

    Apr, 2024

  • 自动驾驶中的无监督 3D 感知与 2D 视觉语言蒸馏

    本文介绍了一种多模态自动标注流程，可以生成用于训练开放式类别的无标注 3D 边界框和轨迹，从而处理自动驾驶等安全关键应用中可能在部署后遇到的新物体类型。相比于当前领域的最新研究，我们的方法可以以无监督的方式处理静态和移动的对象，并通过提出的视觉 - 语言知识蒸馏方法输出开放式词汇的语义标签。基于 Waymo 开放数据集的实验证明，我们的方法在各种无监督 3D 感知任务上显著优于先前的工作。

    Sep, 2023

  • 更多观点，更多了解：通过多模态视觉数据进行零样本点云分割

    零射点云分割方法探索了如何识别在训练阶段未见过的点云中的新物体，并利用深度模型从已标记的已知类别转移知识到未标记的未知类别，提出了一种新颖的多模态零射学习方法，以更准确地对齐视觉和语义特征，在两个流行的基准数据集 SemanticKITTI 和 nuScenes 上进行的实验表明，我们的方法在未见类别 mIoU 上分别取得了 52% 和 49% 的提升，超过了当前的最佳方法。

    Jul, 2023

  • 跨模态和跨领域学习的无监督 LiDAR 语义分割

    该论文介绍了一种新的三维激光雷达语义分割设置，利用交叉模态和跨域学习（CoMoDaL）方法，通过构建混合数据样本和应用多个约束来实现无需标记三维激光雷达数据的分割。

    Aug, 2023

  • 跨模态和跨视角自监督特征学习

    通过利用跨模式和视角的对应关系，该论文提出了一种新颖且有效的自监督学习方法，联合学习 2D 图像特征和 3D 点云特征，并通过神经网络评估跨模态的对应关系，而无需使用人工标注标签。

    Apr, 2020

  • 稀疏到密集特征匹配：基于域自适应的交叉模态学习用于 3D 语义分割

    本文提出了一种基于跨模态学习的动态稀疏到稠密的交叉模态学习和在包含不同语义内容的 2D 和 3D 数据上进一步改进交叉模态对抗性学习，以大幅提高各种多模态领域自适应设置上的性能。

    Jul, 2021

  • 通过跨模态蒸馏和超体素聚类进行三维点云的无监督语义分割

    本文提出了一个名为 PointDC 的新型分割框架，通过两个阶段的处理（CMD 和 SVC），实现在不使用任何形式的注释的情况下的点云全自动无监督语义分割。该框架在 ScanNet-v2 和 S3DIS 两种数据集上均优于以往的无监督学习方法，分割性能显著提高。

    Apr, 2023

  • 将 CLIP 的知识转化为零样本点云语义分割

    本文提出了一种简单而有效的基线方法，将 CLIP 中的视觉语言知识在特征和输出层面上转移到点云编码器，从而在零样本点云语义分割中取得了显著的性能提升，并在无标注点云语义分割设置中取得了有希望的结果，展示了其在标签效率学习方面的巨大潜力。

    Dec, 2023