Sep, 2023

从 SAM 中学习：通过正规化利用分割基础模型进行 Sim2Real 领域自适应

PDF
TL;DR自主域自适应方法对目标域训练数据稀缺和注释成本高的机器人应用领域尤为重要。我们提出了一种自我监督的域自适应方法，适用于仅有标注源领域数据但目标领域数据完全无标注的情景，并且我们使用了分割基础模型（Segment Anything Model）来获得未标注数据的部分信息，利用无监督局部特征学习的最新进展，提出了一种对目标域中检测到的分割区域进行正则化特征表示的不变性方差损失结构。关键是，这种损失结构和网络架构可以处理由 Segment Anything 生成的重叠分割区域和过分割问题。我们在具有挑战性的 YCB-Video 和 HomebrewedDB 数据集上展示了我们方法的优势，并显示出它优于之前的方法，甚至优于使用真实注释进行训练的网络（在 YCB-Video 上）。
发现论文，激发创造
  • 通过弱监督适应提高分割基础模型在分布变化下的泛化能力

    基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

    Dec, 2023

  • 语义分割的无监督域适应中的潜空间正则化

    本文提出一种特征级别的空间塑形正则化策略来减少语义分割中的域差异，从而在自动驾驶设置中实现了多种合成到实际路景基准的最先进结果。

    Apr, 2021

  • 视频语义分割的无监督域自适应

    本文提出了一种新的、针对视频语义分割的无监督域自适应方法，通过视频对抗训练和视频自我训练等网络，在实验中取得了优异的成绩，表明这一方法可以有效地将模拟数据转移到实际场景中，缓解视频领域对数据的需求。

    Jul, 2021

  • SAM 遇见机器人手术：关于泛化性、鲁棒性和适应性的实证研究

    基于 Segment Anything Model（SAM）的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究，发现 SAM 在使用边界框提示时表现出卓越的零样本泛化能力，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的 Low-rank Adaptation（LoRA）调整方法结合 SAM，形成 SurgicalSAM 在不使用提示的情况下可以对各个类别的仪器进行遮罩预测，从而说明 SAM 在手术任务中仍需要进一步的专业领域微调。

    Aug, 2023

  • 具有通用性的视觉增强学习与分割模型

    SAM-G 通过利用 Segment Anything Model (SAM) 的分割能力，结合 DINOv2 和 SAM 的图像特征，为视觉强化学习代理提供高质量的遮罩图像，显著改善了视觉泛化能力，并在 DMControl 和 Adroit 任务中相对于现有方法分别实现了 44% 和 29% 的改进。

    Dec, 2023

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 基于 SAM 指导的无监督领域适应用于 3D 分割

    本研究提出了一种基于图像与点云的混合特征增强方法，通过利用 SAM 模型在三维领域中的普适性能力，解决了未标注域适应中的领域差异问题，并在三维分割任务中取得了最新的研究进展。

    Oct, 2023

  • 无监督模型适应连续语义分割

    本文提出了一种算法，通过学习源域的原型分布来将目标域分布与源域分布在嵌入空间中对齐，用于自适应预训练模型以便在目标域中泛化。

    Sep, 2020

  • 无监督场景适应中的记忆正则化技术

    本文提出一种名为 “存储器规则化” 的正交方法，该方法旨在利用场景内部知识和规范化模型培训，以解决无监督的场景适应问题。通过使用模型本身作为存储模块并减少两个分类器之间的不一致性来提高模型性能，并在 GTA5-> 市景和 SYNTHIA-> 市景两个场景以及市景 -> 牛津机器人汽车三个基准测试中验证了其有效性。

    Dec, 2019

  • SAMDA: 利用 SAM 进行少样本领域自适应的电子显微镜分割

    本研究提出了一种新的少样本领域自适应框架 SAMDA，将 Segment Anything Model（SAM）与 nnUNet 在嵌入空间中结合起来，以实现高度的转移性和准确性。在两个电子显微图像数据集和四个 MRI 数据集上的实验结果表明，SAMDA 模型在显微镜图像分割和多模态图像分割领域具有很好的性能。

    Mar, 2024