CAT-SAM:面向少样本适应的分割模型的条件调整网络
我们引入了一种新颖的微调框架,通过批处理基于真实掩蔽的边界框引入批量提示策略,以提高Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。
Oct, 2023
通过学习可变形偏移对图像特征进行采样来提高Segment Anything Model (SAM) 在各种情况下的分割稳定性,并验证了该方法的有效性和优势,从而使其成为更加稳健的分割解决方案。
Nov, 2023
基于自训练的策略,通过锚点规范化和低秩微调,提升了图像分割基础模型的适应性和计算效率,并在多个下游分割任务中表现出优于预训练模型SAM和最先进的领域自适应方法的性能。
Dec, 2023
本文提出了Scalable Bias-Mode Attention Mask(BA-SAM)解决图像分辨率变化对Segment Anything Model (SAM)的影响,并实现了零样本泛化能力。通过引入新的缩放因子和偏置模式注意力掩码,BA-SAM在不改变结构的情况下,增强了模型对不同图像分辨率的适应性,同时在零样本学习和微调中取得了显著的性能提升。
Jan, 2024
通过引入SAM-Lightening,一种改进的注意力机制,称为Dilated Flash Attention,本研究在COCO和LVIS数据集上通过渐进蒸馏实现了从原始SAM的知识转移,实现了在运行时间效率和分割准确性方面显著优于最先进方法,每幅图片仅需要7毫秒的推理速度,是原始SAM的30.1倍,且内存占用只有原始SAM的3.5%。
Mar, 2024
本文介绍了一种新的方法 TA-LoRA,将 Segment Anything Model (SAM) 用作多任务学习的基础模型,在多个下游任务中显著提高了 mSAM 的性能。
Mar, 2024
对于Segment Anything Model(SAM)的(非)条件图像分割任务,通过研究发现,与点-盒引导分割相比,SAM在文本引导任务上表现较差,因其默认的轻量级遮罩解码器中的浅层融合方案。本文提出了两种深度指令调优方法,一种是端到端的,另一种是逐层的。通过这些调优方法,我们可以将SAM的图像编码器视为独立的视觉-语言学习器,而不是构建另一个深度融合分支。对三个高度竞争的参考图像分割基准数据集进行的大量实验证明,简单的端到端DIT显著提高了SAM的性能,而逐层DIT进一步将其推向了最先进水平。
Mar, 2024
本研究解决了现有分割模型在处理提示信息与图像结合时的低效和信息提取不足的问题。提出的SAM-REF框架通过两阶段的细化过程,实现了图像与提示的全局和局部有效整合,结合了早期结合的精确性与晚期结合的高效性。实验结果表明,该方法在复杂场景的多次交互中表现出卓越的有效性和高效性,超越了当前的先进模型。
Aug, 2024
该研究针对Segment Anything Model(SAM)在特定领域(如医学图像)应用时性能下降的问题,提出了一种新颖的自我提示微调方法(SAM-SP)。这一方法减少了对专家级提示的依赖,提高了模型的适用性和分割性能,实验结果验证了其在各种特定领域数据集中的有效性。
Aug, 2024
本研究针对现有交互分割模型在图像与提示有效结合上的不足,提出了一种全新的SAM-REF双阶段精炼框架。通过将图像和提示的全局与局部信息进行高效整合,研究显示该方法在复杂情况下的分割质量优于当前最优模型,且保持了高效性。
Aug, 2024