稳定分段设定模型
对Segment Anything Model模型进行了全面的鲁棒性研究,发现它在面对多种图像扰动时的性能普遍下降,在特定数据集上定制提示技巧和利用领域知识,可以提高模型的弹性和解决数据集特定的挑战,为实际应用提供更健壮和多功能的图像分割解决方案。
May, 2023
提出了一种名为HQ-SAM的模型,该模型在保持Segment Anything Model(SAM)原始zero-shot设计,高效性和推广性的同时,赋予SAM精确切分任何对象的能力,通过深度融合输入的不同特征并引入可学习的高质量输出Token,有效提高了遮罩细节。在多种下游任务的9个不同分割数据集中展示HQ-SAM的有效性,其中有7个采用了零-shot转移协议进行评估。
Jun, 2023
本文提出了Scalable Bias-Mode Attention Mask(BA-SAM)解决图像分辨率变化对Segment Anything Model (SAM)的影响,并实现了零样本泛化能力。通过引入新的缩放因子和偏置模式注意力掩码,BA-SAM在不改变结构的情况下,增强了模型对不同图像分辨率的适应性,同时在零样本学习和微调中取得了显著的性能提升。
Jan, 2024
提出了一种名为CAT-SAM的ConditionAl Tuning网络,用于适应处理各种非传统图像目标分割任务,通过只使用少量的目标样本实现与Segment Anything Model (SAM)相结合,提升了目标分割性能。
Feb, 2024
本文探讨了将Segment Anything Model(SAM)应用于视频对象跟踪和分割任务的潜力,通过使用多种prompt和引入基于点的优化阶段,实现了在三个数据集上对比性能相当的视频对象/实例分割任务,该方法为基于SAM的后续应用赋予了跟踪能力。
Mar, 2024
Segment Anything Model (SAM)通过使用不同的输入提示(如文本、边界框、点或掩膜)生成掩膜,克服了特定数据集稀缺性的约束,评估了SAM在X射线/红外模态中分割感兴趣对象的能力,结果表明SAM在给定盒子提示时可以分割X射线模态中的对象,但对于点提示而言,表现不稳定,特别是在分割细长物体和有机材料方面,SAM的性能较差,这表明在考虑在X射线/红外图像上使用SAM时需要特别考虑跨模态泛化的问题。
Apr, 2024
本研究解决了现有分割模型在处理提示信息与图像结合时的低效和信息提取不足的问题。提出的SAM-REF框架通过两阶段的细化过程,实现了图像与提示的全局和局部有效整合,结合了早期结合的精确性与晚期结合的高效性。实验结果表明,该方法在复杂场景的多次交互中表现出卓越的有效性和高效性,超越了当前的先进模型。
Aug, 2024
该研究针对Segment Anything Model(SAM)在特定领域(如医学图像)应用时性能下降的问题,提出了一种新颖的自我提示微调方法(SAM-SP)。这一方法减少了对专家级提示的依赖,提高了模型的适用性和分割性能,实验结果验证了其在各种特定领域数据集中的有效性。
Aug, 2024
本研究针对现有交互分割模型在图像与提示有效结合上的不足,提出了一种全新的SAM-REF双阶段精炼框架。通过将图像和提示的全局与局部信息进行高效整合,研究显示该方法在复杂情况下的分割质量优于当前最优模型,且保持了高效性。
Aug, 2024
本研究针对Segment Anything Model(SAM)在图像分割任务上的高计算和资源需求问题,提出了一种高效的变体综述,以解决在资源有限环境下的部署挑战。通过对各类加速策略的深入分析,本论文提供了对这些高效变体的统一评估,揭示了其效率与准确性的比较,为后续研究提供了重要参考。
Oct, 2024