MAS-SAM: 基于聚合特征的海洋动物分割
提出了一个名为 Dual-SAM 的新型特征学习框架,结合 Segment Anything Model (SAM) 的范例,通过多层次的耦合提示策略 (MCP) 和交叉连接预测范式 (C^3P) 来增强对海洋动物图像的特征学习和分割,提供了在海洋动物分割任务中新的高性能解决方案。
Apr, 2024
AquaSAM 是扩展 Segment Anything Model (SAM) 在水下图像上的成功的首次尝试,用于创建一种多功能的水下目标分割方法。通过对 SUIM 数据集进行自动标签分类和提取,以及通过简化微调方法,AquaSAM 在水下图像分割任务中表现优于默认的 SAM 模型,尤其是在珊瑚礁等难度较高的任务上,平均 Dice Similarity Coefficient (DSC) 提高 7.13%,平均 mIoU 提高 8.27%。
Aug, 2023
引入了名为 MA-SAM 的适用于各种体积和视频医学数据的模态无关 SAM 适应框架,通过在图像编码器的转换器块中注入一系列的 3D 适配器,使预训练的 2D 主干从输入数据中提取第三维信息。在四个医学图像分割任务上,使用了 CT、MRI 和外科手术视频数据的 10 个公共数据集进行全面评估,结果显示,我们的方法在不使用任何提示的情况下,始终表现优于各种最先进的三维方法,在 CT 多器官分割、MRI 前列腺分割和外科手术场景分割的 Dice 指标上分别超过 nnU-Net 0.9%、2.6% 和 9.9%。在使用提示时,我们的模型也表现出强大的泛化能力,并在具有挑战性的肿瘤分割任务中表现出色。
Sep, 2023
我们提出了一种在水下领域应用特定的 Segment Anything Model (USIS-SAM) 的水下显著实例分割架构,通过引入水下领域视觉提示和自动生成显著提示器,我们的方法在 USIS10K 数据集上取得了卓越性能。
Jun, 2024
提出了一种开放词汇的全景分割模型,通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块(LDP),克服了 SAM 的局限性,并引入了面向掩膜的选择集成算法(MASE)来自适应地提高生成掩膜的质量,从而在多个数据集上展示了很强的泛化性能,并且在开放词汇全景分割方法方面取得了显著的改进。
Mar, 2024
通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中,我们的实验表明,SAM-Adapter 可以显着提高 SAM 在具有挑战性的任务中的性能,并且在我们测试的任务中甚至可以胜过专门的网络模型,并达到最先进的性能:伪装目标检测和阴影检测。
Apr, 2023
SAMFeat 通过引入 SAM(segment anything model)作为教师模型,利用像素级对齐关系和语义信息,改进本地特征描述和检测的性能,展现了在不同任务中的优越性能。
Sep, 2023
提出了一种名为 HQ-SAM 的模型,该模型在保持 Segment Anything Model(SAM)原始 zero-shot 设计,高效性和推广性的同时,赋予 SAM 精确切分任何对象的能力,通过深度融合输入的不同特征并引入可学习的高质量输出 Token,有效提高了遮罩细节。在多种下游任务的 9 个不同分割数据集中展示 HQ-SAM 的有效性,其中有 7 个采用了零 - shot 转移协议进行评估。
Jun, 2023
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023