Aug, 2024

SAM2-适配器：评估与适应Segment Anything 2在下游任务中的应用：伪装、阴影、医学图像分割等

HTML
PDF
TL;DR本研究解决了Segment Anything 2（SAM2）在复杂低级图像分割任务（如伪装物体和医学成像）中的局限性。我们提出SAM2-适配器，这是首个针对SAM2设计的适配器，克服了这些限制并在下游任务中实现了新的最先进成果。实验结果表明，SAM2-适配器具有更强的通用性和组合性，能显著提高图像分割效果。
发现论文，激发创造
  • SAM-Adapter：在伪装、阴影等场景下适应SAM的分割模型

    通过使用简单而有效的适配器将特定领域信息或视觉提示集成到分割网络中，我们的实验表明，SAM-Adapter可以显着提高SAM在具有挑战性的任务中的性能，并且在我们测试的任务中甚至可以胜过专门的网络模型，并达到最先进的性能：伪装目标检测和阴影检测。

    Apr, 2023

  • 使用SAM的输入增强：利用分割基础模型提升医学图像分割

    SAM是一个通用视觉模型，虽然在医学图像分割上的分割效果不高，但其生成的掩膜、特征和稳定性分数可以用于构建和训练更好的医学图像分割模型，该论文展示了如何用SAM来增强常用的医学图像分割模型（例如U-Net），两个数据集上的实验表明了我们提出方法的有效性。

    Apr, 2023

  • 医疗SAM适配器：为医学图像分割而适配的段落任意模型

    本文提出了一种称为 Med SAM Adapter 的方法，它通过将医学特定领域知识与分析模型进行简单而有效的适应技术的集成，将SAM模型的强分割能力扩展到医学图像分割，在多种图像模态下优化19项医学图像分割任务，并超过各种已有的基于医学图像分割的最新技术，并与全面优化的MedSAM相比有不错的性能优势。

    Apr, 2023

  • 3DSAM-adapter：将SAM从2D完整地适应到3D，用于医学图像分割

    本文介绍了一种适用于医学图像分割的、从2D到3D的SAM模型的新颖改进方法，并在4个医学数据集上进行了实验，结果表明该方法可以仅通过轻量级的空间适配器有效地捕捉体积医学图像中存在的空间模式。

    Jun, 2023

  • AdapterShadow: 为阴影检测调整分段任意模型

    我们提出了AdapterShadow，这是一种用于阴影检测的适应SAM模型的方法。我们在SAM的冻结图像编码器中插入可训练的适配器，以适应阴影图像，并引入一种新颖的网格采样方法以生成密集的点提示，从而在没有任何手动干预的情况下自动分割阴影。通过在四个广泛使用的基准数据集上进行广泛的实验，我们展示了我们提出方法的卓越性能。

    Nov, 2023

  • 不确定性感知适配器：为模棱两可的医学图像分割调整 Segment Anything 模型 (SAM)

    基于医学图像的不确定性感知，使用 Uncertainty-aware Adapter 对 Segment Anything Model 进行有效 fine-tuning，实现了新的最先进的医学图像分割方法。

    Mar, 2024

  • 评估SAM2在伪装物体检测中的作用：从SAM到SAM2

    本研究解决了SAM2在无提示自动模式下对图像中不同物体的感知能力下降的问题。通过研究伪装物体检测这一挑战性任务，文章提出了一种新的评估方法，以期激发研究者对SAM模型家族的进一步探索。研究结果显示，尽管SAM2在视频和图像分割方面有显著提升，其在特定应用上的局限性仍值得关注。

    Jul, 2024

  • 在医学图像和视频中分割任何东西：基准和部署

    本研究解决了当前分割基础模型在医学数据中应用的不明确性，全面基准测试了Segment Anything Model 2（SAM2）在11种医学图像和视频中的性能。通过转移学习管道，显示出SAM2能够快速适应医学领域，并实现了其作为3D切片插件和Gradio API的高效部署，为医学图像和视频分割提供了新的解决方案。

    Aug, 2024

  • SAM2-适配器：在下游任务（伪装、阴影、医学图像分割等）中评估与适配

    本研究针对Segment Anything 2在处理复杂的低级分割任务上的局限性，提出了SAM2-适配器，这是首个旨在解决这些问题的适配器。研究表明，SAM2-适配器在医学图像分割、伪装物体检测和阴影检测等下游任务上达到了新的最先进结果，显著提高了模型的通用性和组合能力。

    Aug, 2024

  • 释放SAM2在生物医学图像和视频中的潜力：一项调查

    本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用，尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调，研究指出SAM2在不同数据集和任务中的表现存在差异，但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性，促进了临床应用的发展。

    Aug, 2024