自我提示使SAM重新焕发光彩
本文将利用基于Segment Anything Model (SAM)的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM可以很好地适应CT数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
该论文综述了Segment Anything Model(SAM)在医学图像分割中的应用,包括实证基准测试和方法论改进,并讨论了SAM在医学图像分割中的未来方向和文献综述。
May, 2023
通过对SAM的嵌入空间进行自我提示,我们提出了一种在医学视觉应用中自我提示的新视角,通过一个简单而有效的线性像素分类器,保留了大模型的编码能力、其解码器的上下文信息,并利用其互动性,我们在多个数据集上取得了竞争性的结果(与使用少量图像微调掩模解码器相比,改进超过15%)
Aug, 2023
利用下游分割任务优化人工提供的提示,提出了针对Segment Anything Model(SAM)等基础模型的即插即用的Prompt优化技术(SAMPOT),在胸部X射线图像的肺分割中取得了显著的改进,并希望此工作能在自动视觉提示调整的新兴领域引起进一步研究。
Oct, 2023
我们介绍了一种新颖的范式及其第一个模型:自动与交互式分割模型(AI-SAM)。在这个范式中,我们对提示品质进行了全面分析,并引入了创新的自动与交互式提示器(AI-Prompter),它在自动生成初始点提示的同时接受额外的用户输入。我们的实验结果证明了AI-SAM在自动设置下的有效性,实现了最先进的性能。更重要的是,它提供了灵活性以整合额外的用户提示,从而进一步提升性能。项目页面可在链接提供的URL中找到。
Dec, 2023
在本研究中,我们使用Segment Anything Model (SAM) 的基础模型来探索不同提示策略(包括包围框、正样本点、负样本点及其组合)对心脏磁共振成像(cMRI)短轴视图分割任务的影响。我们发现提示策略显著影响分割性能,正样本点与包围框或负样本点相结合可以带来实质性效益,但同时组合使用时效果有限。我们进一步观察到,在适当的提示下,使用少量注释数据对SAM进行微调可以改善分割性能,使用包围框进行微调对性能有积极影响,而无包围框进行微调会导致比基准模型更差的结果。
Dec, 2023
本研究解决了现有分割模型在处理提示信息与图像结合时的低效和信息提取不足的问题。提出的SAM-REF框架通过两阶段的细化过程,实现了图像与提示的全局和局部有效整合,结合了早期结合的精确性与晚期结合的高效性。实验结果表明,该方法在复杂场景的多次交互中表现出卓越的有效性和高效性,超越了当前的先进模型。
Aug, 2024
本研究针对现有交互分割模型在图像与提示有效结合上的不足,提出了一种全新的SAM-REF双阶段精炼框架。通过将图像和提示的全局与局部信息进行高效整合,研究显示该方法在复杂情况下的分割质量优于当前最优模型,且保持了高效性。
Aug, 2024
本研究针对跨域和少样本应用中的表现不足问题,提出了一种基于Segment Anything Model (SAM) 的任务适应性提示框架。通过多级特征融合和类别域任务适应自动提示模块,显著提升了特征提取质量与学习能力,并在三个基准测试上实现了最佳效果,为跨域少样本分割提供了新的解决方案。
Sep, 2024