- 通过微调 SAM 在少量示例上进行医学影像分割的低成本午餐
本文介绍了一种利用有限数量的样本来对 Segment Anything Model (SAM) 进行微调的高效实用方法,以适用于医学领域,经实证研究表明 SAM 在医学领域即使只有少量标记数据也能有效对齐,通过在脑肿瘤分割(BraTS)和多 - SurgicalSAM: 高效可类别提示的手术工具分割
SurgicalSAM 是一种针对显著改善 SAM 泛化性能的新型端到端高效调优方法,引入了轻量级基于原型的类提示编码器,并提出了对比原型学习以进一步增强类原型的区分力,通过在 EndoVis2018 和 EndoVis2017 数据集上进 - 论孟加拉文档布局分析数据集中的框架和模型分析:BaDLAD
本研究通过使用先进的计算机程序 (Detectron2、YOLOv8 和 SAM) 来理解孟加拉文档布局。我们研究了许多不同的孟加拉文档。Detectron2 非常擅长找到和分离文本框和段落等文档的不同部分。YOLOv8 在识别表格和图片方 - Polyp-SAM++:文本引导的 SAM 在息肉分割中能表现更好吗?
通过文本提示辅助的 SAM 模型进行息肉分割任务的性能评估及与未辅助的 SAM 模型的比较。
- SAMFlow:消除光流中的任何碎片化问题的分段整体模型
提出了 SAMFlow 模型,将 Segment Anything Model (SAM) 的图像编码器嵌入 FlowFormer,通过光流任务特定的适应方案来增强物体感知,解决了光流估计中的片段化问题,并在 Sintel 和 KITTI- - 基于大型视觉模型的医学图像标注框架 SAM^Med
SAM 模型为基础,通过 SAM^{assist} 和 SAM^{auto} 两个子模块,提出了 SAM^{Med} 框架,无需大量标记即可实现精准的医学图像分割。
- 遥感应用中的分段任意物模型 (SAM):从零到一次拍摄
本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现 SAM 在遥感影像处理中的潜力。
- 当 SAM 遇到声呐图像
本文旨在对 SAM 在声纳成像上的表现进行全面研究,并通过启发式方法的微调和语义分割,扩展其自动分割任务的适用性。结果表明,经过微调的 SAM 的性能有了显著提高。
- 面向移动应用的轻量级 SAM:更快的分割任何物体
该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于 FastSAM,MobileSAM 模型可缩小 7 倍且速度快 4 - SAM++: 利用语义信息和结构推理增强解剖匹配
SAM++ 是一个能够在医学图像中学习外观和语义嵌入的框架,其固定点匹配机制能够克服原来方法中的一些限制,并取得了比现有方法更好的结果。
- 放射治疗中的 Segment Anything Model (SAM)
本研究中,我们评估了 SAM 模型在临床放射治疗中的表现。SAM 在前列腺和肺区域的自动分割表现较好,而在胃肠和头颈区域的表现相对较差。然而,这些结果表明 SAM 对于使用单个训练模型完成四个区域的器官边界识别具有鲁棒的泛化能力。
- ICML差分隐私锐度感知训练
本文探讨了在进行差分隐私训练时,模型性能的降级问题,并提出了一种新的训练方法来缓解隐私和优化之间的权衡,实验证明该方法可以改善模型的性能。
- 基于 SAM 和 DINO 的自动图像融合算法
本研究介绍了一种利用语义对象检测和分割以及相应的遮罩生成在图像融合过程中自动融合图像的方法,并且引入了 PAN 的使用来进一步提高质量。与许多经典的视觉融合模型相比,我们的方法在 PSNR,SSIM 和真实性等各种性能指标方面表现出色。此外 - 通过视觉基础模型实现无标签场景理解
该研究调查了使用视觉基础模型实现二维和三维场景理解的潜力,并提出了一个新的跨模式噪声监督方法,利用 CLIP 和 SAM 模型的优势共同训练二维和三维网络,实现了在不需要标记数据的情况下进行图像语义分割。
- 理解片段任意模型:SAM 偏向纹理而不是形状
对比人类视觉主要依赖形状来识别物体,深度图像识别模型被广泛认为存在对纹理的偏见。最近,元研究团队发布了首个图像分割基础模型,称为 Segment Anything Model(SAM),这引起了很大的关注。在本研究中,我们从纹理和形状的角度 - SAM 帮助 Shadow:当分割模型遇上阴影去除
本文介绍了一种创新的方法 SAM-helps-Shadow,将分割模型 SAM 用于影子去除,利用零样本学习提高模型在实际场景中的适用性,使用二阶深度展开网络实现影子去除,提高了阴影检测的准确性和效率。
- 视频拷贝片段匹配的相似度对齐模型
该研究报告揭示了我们提出的一种基于相似性对齐模型(SAM)的视频抄袭段匹配方法,该方法在 Meta AI 主办的视频相似性挑战中表现出比其他竞争对手更优异的性能。
- 当 SAM 遇见阴影探测
该研究报告使用可提醒的通用物体分割模型(segment anything model,SAM)在一个未被发掘的流行任务中 —— 阴影检测中进行测试,不满意的实验结果表明 SAM 在此任务方面表现不佳。
- 解释任何概念:基于概念的说明和分割
本研究探索使用具備精確及全面物件分割能力的 Segment Anything Model (SAM) 來增強基於概念的可解釋人工智慧 (Explainable AI, XAI) 方法。我們提出了一種稱為 Explain Any Concep - 关于区分任何模型(SAM)的调查:视觉基础模型遇见促进工程
该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。