CVPRApr, 2023

利用 2D 和 3D 网络的补充性来解决 3D 语义分割中的领域偏移

PDF
TL;DR本文提出一种简单有效的多模态 3D 语义分割网络，利用来自不同传感器的信息进行语义分割并使其更加鲁棒，达到了优异的性能。
3d semantic segmentationmulti-modaldomain shiftunsupervised domain adaptationdomain generalization
发现论文，激发创造
  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 深度投影三维语义分割

    本文提出了一种基于 2D-CNN 和多模态网络架构的点云语义分割方法，将点云数据投影到 2D 平面，避免了 3D-CNN 方法中立方体体素化降低空间分辨率和增加内存消耗的限制，并在 Semantic3D 数据集上达到了相对增益 7.9％的最新最佳结果。

    May, 2017

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 只利用 2D 图像监督学习 3D 语义分割

    本文提出了一种基于 2D 图像标注来训练 3D 语义分割模型的方法，使用多视角融合来生成伪标签，并解决了选择可信的伪标签、较少目标分类、在训练过程中如何脱离 2D 图像等问题。实验结果表明，所提出的 2D3DNet 网络在一个新的城市数据集上的表现显著优于基线方法。

    Oct, 2021

  • 大规模三维语义分割中的野外多视角聚合学习

    本文提出了一种端到端可训练的多视角聚合模型，利用 3D 点的视角优势，从任意位置拍摄的图像中合并特征，将标准 2D 和 3D 网络相结合，不需要着色、上网格或真实深度图，我们在 S3DIS 和 KITTI-360 数据集上取得了新的最佳效果。

    Apr, 2022

  • 跨模态和跨域知识迁移对无标签 3D 分割

    通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

    Sep, 2023

  • 稀疏到密集特征匹配：基于域自适应的交叉模态学习用于 3D 语义分割

    本文提出了一种基于跨模态学习的动态稀疏到稠密的交叉模态学习和在包含不同语义内容的 2D 和 3D 数据上进一步改进交叉模态对抗性学习，以大幅提高各种多模态领域自适应设置上的性能。

    Jul, 2021

  • 自动驾驶多模态三维语义分割 MSeg3D

    利用多模态数据的几何和语义特征，通过三个步骤来完成多模态 3D 语义分割任务。经过我们的研究，MSeg3D 在 nuScenes、Waymo 和 SemanticKITTI 数据集上取得了最先进的结果。

    Mar, 2023

  • 3D 语义分割驱动的三维物体检测表征

    在自动驾驶中，相较于 2D 检测，3D 检测能够提供更精确的信息用于路径规划和运动估计。然而，由于缺乏几何信息，单一和多视角图像以及来自相机的深度图在检测精度上相对较低。本文提出了 SeSame：一种基于点的语义特征的新表达方法，以确保基于 LiDAR 的 3D 检测具有充足的语义信息。实验证明，我们的方法在 KITTI 物体检测基准测试中在不同难度级别和车辆上优于以前的最先进方法。

    Mar, 2024

  • 基于组合语义混合的点云分割领域自适应

    通过语义和几何样本混合，该研究介绍了一种基于点云的无监督领域自适应技术，并采用合成到真实和真实到真实的情境，利用 LiDAR 数据集验证其在无监督和半监督设置中明显优于现有方法的性能。

    Aug, 2023