Sep, 2023

MoPA: 3D 多模态先验辅助领域自适应语义分割

PDF
TL;DR多模式无监督领域适应（MM-UDA）用于 3D 语义分割是一种实用解决方案，能够在自主系统中嵌入语义理解，而无需昂贵的逐点注释。本文提出了多模式先验辅助（MoPA）领域适应，以改善罕见对象的性能，并通过插入从野外收集的罕见先验对象来纠正不平衡的监督信号，同时通过 SAM 一致性损失利用来自 SAM 的 2D 先验语义掩码作为像素级监督信号，以鼓励对语义掩码中的每个对象进行一致的预测，并通过跨模态共享模态特定的先验知识实现更好的罕见对象分割。大量实验证明，我们的方法在具有挑战性的 MM-UDA 基准上取得了最先进的性能。
multi-modal unsupervised domain adaptation3d semantic segmentationclass-imbalanced performancemulti-modal prior aided domain adaptationsam consistency loss
发现论文，激发创造
  • xMUDA：跨模态无监督 3D 语义分割领域自适应

    本篇论文提出了一种跨模态迁移学习方法（xMUDA），用于解决多模态数据下的无监督域适应问题，借助自动驾驶数据集验证了该方法的有效性并与单模态方法进行了比较。

    Nov, 2019

  • MoDA：利用视频中的动作先验提升无监督语义分割领域自适应

    本文提出了一种运用自监督学习和运动导向的领域自适应语义分割框架（MoDA），以解决目标领域中缺乏标注的语义分割问题。MoDA 通过利用对象运动的自监督学习，在前景和背景类别上采用不同的策略来处理领域间的差异，通过前景对象发现和语义挖掘以及背景对抗训练来提高准确性。实验结果表明，MoDA 在领域自适应图像分割和领域自适应视频分割方面优于现有方法，并可与现有的先进方法相结合以进一步改善性能。

    Sep, 2023

  • 视觉基础模型提升跨模态无监督域自适应在 3D 语义分割中

    利用 2D 视觉基础模型 (VFM) 的先验知识，我们提出了一种新的 VFMSeg 流水线，通过利用这些模型来进一步增强跨模态的无监督领域自适应框架，以提供更精确的无标签目标领域标签并改善整体性能。

    Mar, 2024

  • 基于交叉模态学习的三维语义分割领域自适应

    本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性

    Jan, 2021

  • 跨模态图像分割的高效无监督领域自适应算法

    本文提出了一种新的数据有效的多域医学图像分割的深度无监督领域自适应方法，该方法结合了基于变分自编码器的特征先验匹配和域对抗训练，以学习共享的域不变潜在空间进行分割。在公共多模态心脏图像分割数据集上评估，在仅使用一个未标记的 3D CT 扫描的情况下，该方法在相同的设定下胜过现有的技术。最后，我们对先验匹配和域对抗训练进行了消融研究，以阐明所提出方法的理论基础。

    Jul, 2019

  • 几何无监督域自适应语义分割

    该论文提出了使用自监督单目深度估计作为代理任务来解决模拟数据和真实数据之间的差异，以提高半监督领域自适应的性能，结果表明这种方法在语义分割领域的无监督域自适应上具有较好的性能。

    Mar, 2021

  • 通过多源混合采样和元学习实现事故场景的稳健语义分割

    本文提出一种多源元学习无监督域自适应框架（MMUDA）来提高分割转换器到极端事故场景的泛化能力，增强分割骨架，并在 DADA-seg 基准测试中实现 46.97% 的 mIoU 分数，超过先前最先进的模型 7.50% 以上。

    Mar, 2022

  • 细粒度动作识别的多模态域自适应

    本文通过多模式自我监督对齐方法及对抗式对齐方法，提高细粒度行为识别跨环境泛化能力。在 EPIC-Kitchens 数据集中，多模式自我监督训练可将性能提高 2.4%，结合对抗式对齐方法可超过其他对抗式训练方法 3%。

    Jan, 2020

  • 基于 SAM 指导的无监督领域适应用于 3D 分割

    本研究提出了一种基于图像与点云的混合特征增强方法，通过利用 SAM 模型在三维领域中的普适性能力，解决了未标注域适应中的领域差异问题，并在三维分割任务中取得了最新的研究进展。

    Oct, 2023

  • 粗到精的域自适应语义分割：光度对齐和类别中心正则化

    本研究提出了一种新的无监督域自适应方法，通过粗、细两个阶段中的影像级对齐和类别级别特征分布规则化来统一解决影像级别和类别级别导致的域差异问题，其中概念中的 “类别级别特征分布” 指的是使用三元组损失限制源域的类别中心和自监督一致性规则化目标域，实验证明本研究所提出的方法提高了分割模型的泛化能力并显著优于之前的方法。

    Mar, 2021