Aug, 2023

跨模态和跨领域学习的无监督 LiDAR 语义分割

PDF
TL;DR该论文介绍了一种新的三维激光雷达语义分割设置，利用交叉模态和跨域学习（CoMoDaL）方法，通过构建混合数据样本和应用多个约束来实现无需标记三维激光雷达数据的分割。
cross-modal domain adaptation3d lidar semantic segmentationcomodalinter-modal cross-domain distillationpoint-to-pixel alignments
发现论文，激发创造
  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 稀疏到密集特征匹配：基于域自适应的交叉模态学习用于 3D 语义分割

    本文提出了一种基于跨模态学习的动态稀疏到稠密的交叉模态学习和在包含不同语义内容的 2D 和 3D 数据上进一步改进交叉模态对抗性学习，以大幅提高各种多模态领域自适应设置上的性能。

    Jul, 2021

  • 跨模态和跨域知识迁移对无标签 3D 分割

    通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

    Sep, 2023

  • 在未知领域的多模态 3D 对象检测

    自动驾驶中的 LiDAR 数据集存在诸如点云密度、范围和物体尺寸等属性偏差，因此在不同环境中训练和评估的物体检测网络往往会遇到性能下降的问题。为了解决这个问题，域自适应方法假设可以获取来自测试分布的未标注样本。但是，在实际世界中，部署条件和获得代表测试数据集的样本可能无法获得。我们认为，更现实和具有挑战性的形式是要求对未知目标域具有性能的鲁棒性。我们提出了一种双重方式来解决这个问题。首先，我们利用大多数自动驾驶数据集中存在的配对的 LiDAR - 图像数据进行多模态物体检测。我们建议通过利用图像和 LiDAR 点云的多模态特征来进行场景理解任务，从而使得物体检测器对未知域的转换更加鲁棒。其次，我们训练一个 3D 物体检测器，在不同分布之间学习多模态物体特征，并促进这些源域之间的特征不变性，以提高对未知目标域的泛化性能。为此，我们提出了 CLIX$^ ext {3D}$，它是一个用于 3D 物体检测的多模态融合和有监督对比学习框架，它在对不同数据集转换下实现了最先进的域泛化性能。

    Apr, 2024

  • CL3D：基于无监督领域自适应的跨激光雷达 3D 检测

    利用空间几何对齐和时间运动对齐构建自适应域归一化方法，以头显和机械扫描激光雷达的点云数据为例，实现了跨设备 3D 检测的最新性能水平。

    Dec, 2022

  • xMUDA：跨模态无监督 3D 语义分割领域自适应

    本篇论文提出了一种跨模态迁移学习方法（xMUDA），用于解决多模态数据下的无监督域适应问题，借助自动驾驶数据集验证了该方法的有效性并与单模态方法进行了比较。

    Nov, 2019

  • SSDA3D: 3D 点云物体检测的半监督领域适应

    提出了一种半监督领域自适应方法，名为 “SSDA3D”，包括两个阶段的 Point-CutMix 模块和 Intra-domain Generalization，很好地解决了不同 LiDAR 配置、城市和天气等领域间偏移问题，不依赖于大量标注数据，在只有 10％目标数据标注的情况下，可以超过 100％目标标签的完全监督模型。

    Dec, 2022

  • 跨模态自训练：无需标签的图像与点云对齐学习分类

    通过使用 Cross-MoST 优化框架，结合 CLIP 等 2D 视觉语言模型，可以提高无需标签的零样本 3D 视觉模型的分类性能，并且实现图像和点云模态之间的跨模态知识交流。

    Apr, 2024

  • CMDA：基于 LiDAR 的三维物体检测的跨模态和领域对抗适应

    通过引入一种名为 CMDA 的新型无监督领域适应方法，利用图像模态（即相机图像）中的视觉语义线索作为一种有效的语义桥梁来缩小跨模态鸟瞰图表示的领域差距，并采用对抗性自我训练策略，使模型生成具有领域不变性的特征，从而为新的数据分布提供高度信息化和领域自适应的 3D 目标检测模型。在包括 nuScenes、Waymo 和 KITTI 在内的大规模基准测试中，以上所述方法为无监督领域适应任务带来了显著的性能提升，并达到了最先进的性能水平。

    Mar, 2024

  • 多机构无监督交叉模态域适应中学习特定场地风格

    该研究介绍了一种应对跨模态、多机构的无监督领域自适应问题的解决方案，通过无配对图像转换和自训练等技术，成功应用于医学图像分析的领域。

    Nov, 2023