通过弱监督适应提高分割基础模型在分布变化下的泛化能力
自主域自适应方法对目标域训练数据稀缺和注释成本高的机器人应用领域尤为重要。我们提出了一种自我监督的域自适应方法，适用于仅有标注源领域数据但目标领域数据完全无标注的情景，并且我们使用了分割基础模型（Segment Anything Model）来获得未标注数据的部分信息，利用无监督局部特征学习的最新进展，提出了一种对目标域中检测到的分割区域进行正则化特征表示的不变性方差损失结构。关键是，这种损失结构和网络架构可以处理由 Segment Anything 生成的重叠分割区域和过分割问题。我们在具有挑战性的 YCB-Video 和 HomebrewedDB 数据集上展示了我们方法的优势，并显示出它优于之前的方法，甚至优于使用真实注释进行训练的网络（在 YCB-Video 上）。
Sep, 2023
这项研究旨在利用预训练的基础模型，如对比语言图像预训练（CLIP）和分段任意模型（SAM），利用图像级别标签解决弱监督语义分割（WSSS）。为此，我们提出了基于 CLIP 和 SAM 的粗到精细的框架，用于生成高质量的分割种子。我们通过冻结权重的 CLIP 和两组可学习的任务特定提示共同执行图像分类任务和种子分割任务。我们设计了一个基于 SAM 的分区（SAMS）模块，并将其应用于每个任务以生成粗糙或精细的种子图。此外，我们设计了一个多标签对比损失，由图像级别标签监督，和一个由生成的粗糙种子图监督的 CAM 激活损失。这些损失用于学习提示，在我们的框架中，提示是唯一需要学习的部分。一旦学习了提示，我们将每个图像以及学习的分割特定提示输入到 CLIP 和 SAMS 模块中，以生成高质量的分割种子。这些种子用作伪标签，用于训练一种现成的分割网络，就像其他两阶段的 WSSS 方法一样。实验证明，我们的方法在 PASCAL VOC 2012 上取得了最先进的性能，并在 MS COCO 2014 上获得了有竞争力的结果。
Dec, 2023
本文介绍了一种利用有限数量的样本来对 Segment Anything Model (SAM) 进行微调的高效实用方法，以适用于医学领域，经实证研究表明 SAM 在医学领域即使只有少量标记数据也能有效对齐，通过在脑肿瘤分割（BraTS）和多器官 CT 分割（Synapse）实验中的综合结果，验证了这种方法的可行性和有效性，为 SAM 在医学领域的实际应用铺平了道路。
Aug, 2023
通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中，我们的实验表明，SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能，并且在我们测试的任务中甚至可以胜过专门的网络模型，并达到最先进的性能：伪装目标检测和阴影检测。
Apr, 2023
使用弱监督的视觉识别方法，借助预训练的视觉基础模型（SAM）中的世界知识，解决了弱监督对象检测和分割中的限制问题，并在 WSOD 和 WSIS 基准测试上显著超过了之前的最先进方法。
Feb, 2024
我们提出了一种新颖的方法来针对现有模型的泛化性能下降问题，将基础模型自适应于特定领域，如遥感图像。我们通过集成预训练的卷积神经网络作为提示生成器，为 Segment Anything Model 增加了识别能力，从而改善了其在遥感图像上的表现。通过在三个遥感数据集上评估我们的方法，包括 WHU Buildings 数据集、Massachusetts Buildings 数据集和 AICrowd Mapping Challenge 数据集，我们观察到我们的方法在不同分布的性能上取得了显著提高，并计划发布我们的代码库，以促进遥感领域对基础模型进行更多领域特定任务的探索。
Oct, 2023
本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
基于 Segment Anything Model（SAM）的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究，发现 SAM 在使用边界框提示时表现出卓越的零样本泛化能力，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的 Low-rank Adaptation（LoRA）调整方法结合 SAM，形成 SurgicalSAM 在不使用提示的情况下可以对各个类别的仪器进行遮罩预测，从而说明 SAM 在手术任务中仍需要进一步的专业领域微调。
Aug, 2023
研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023