NubbleDrop:一种简单的提升提示式单次分割匹配策略的方法
本文探讨了将 Segment Anything Model(SAM)应用于视频对象跟踪和分割任务的潜力,通过使用多种 prompt 和引入基于点的优化阶段,实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务,该方法为基于 SAM 的后续应用赋予了跟踪能力。
Mar, 2024
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM 的性能显著提高。
Apr, 2023
使用少样本学习的方法,本研究提出了一种基于深度学习的医学图像分割框架 MatchSeg,通过匹配参考图像和设计联合注意力模块,实现了高效的领域泛化和优越的分割性能。
Mar, 2024
利用下游分割任务优化人工提供的提示,提出了针对 Segment Anything Model(SAM)等基础模型的即插即用的 Prompt 优化技术(SAMPOT),在胸部 X 射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。
Oct, 2023
提出了一种改进的测试阶段提示增强技术,可提高在医学图像分割中使用稀疏手动提示的 Segment Anything Model 的性能和鲁棒性。此外,提出了一种只使用单个 2D 切片的边界框注释即可实现 3D 像素级分割的 Single-Slice-to-Volume 方法。
Aug, 2023
Matcher 是一种结合通用特征提取和无类别分割模型实现一次性分割的方法,通过设计双向匹配策略和鲁棒的提示采样器进行交叉图像语义密集匹配以及实例级匹配策略,能够在各种分割任务中实现令人印象深刻的泛化性能,无需训练。
May, 2023
提出了 MaskSAM,这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架,通过与 SAM 中的图像编码器结合设计了一个提示生成器,生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框,以解决额外提示的要求,同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能,Dice 系数为 90.52%,相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上,我们的方法分别超过了 nnUNet 1.7% 和 1.0%。
Mar, 2024
通过对 SAM 的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过 15%)
Aug, 2023
通过使用稳定扩散中 UNet 的中间输出作为鲁棒的图像特征图,将基本提示调整技术应用于稳定扩散,进一步引入了基于输入图像对局部细节的条件提示模块,从而显著提高了准确性;在 PF-Pascal、PF-Willow 和 SPair-71k 数据集上的综合评估表明,SD4Match 在所有这些数据集上都建立了新的准确性基准,特别是在具有挑战性的 SPair-71k 数据集上,SD4Match 的性能超过了先前的最新技术水平 12 个百分点。
Oct, 2023