RobustSAM: 在退化图像上鲁棒地分割任何物体
对 Segment Anything Model 模型进行了全面的鲁棒性研究,发现它在面对多种图像扰动时的性能普遍下降,在特定数据集上定制提示技巧和利用领域知识,可以提高模型的弹性和解决数据集特定的挑战,为实际应用提供更健壮和多功能的图像分割解决方案。
May, 2023
该文讨论使用提示依靠快速学习和收集大规模数据进行目标检测的 Segment anything model (SAM) 是否能够在威胁场景下提供可靠性,发现 SAM 对于多种污染具有显着的鲁棒性,但在受到 PGD 和 BIM 攻击时容易受到影响,因此提出了一系列新任务以提高 SAM 的鲁棒性。
May, 2023
本研究对 Segment anything model (SAM) 模型在各种噪声、图像修饰以及逆向攻击等情境中的鲁棒性进行了全面评估,并揭示了其在形状和样式方面的偏向性。
Jun, 2023
本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现 SAM 在遥感影像处理中的潜力。
Jun, 2023
通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景,发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。
Apr, 2023
本文提出了一个基于深度学习技术的医学图像分割模型,该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM),通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力,实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%(从 70.06% 到 79.02%),并且 DeSAM 方法可以在入门级 GPU 上进行训练。
Jun, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
提出 SAM-Deblur 框架,首次将 Segment Anything Model(SAM)的先验知识融入图像去模糊任务,通过预处理、生成结构先验和融合特征等三个阶段,在 RealBlurJ、ReloBlur 和 REDS 数据集上改进了 NAFNet 的 PSNR 分别为 0.05、0.96 和 7.03。
Sep, 2023
SAM 是用于图像分割的第一个通用基础模型,能以自动或手动提示的方式进行零 - shot 图像分割,并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战,SAM 在某些情况下表现出色,但需要结合手动标注才能取得更好的表现。
Apr, 2023
基于 Segment Anything Model(SAM)的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究,发现 SAM 在使用边界框提示时表现出卓越的零样本泛化能力,但在点提示和未提示设置下,对仪器的整体分割困难重重,且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的 Low-rank Adaptation(LoRA)调整方法结合 SAM,形成 SurgicalSAM 在不使用提示的情况下可以对各个类别的仪器进行遮罩预测,从而说明 SAM 在手术任务中仍需要进一步的专业领域微调。
Aug, 2023