Aug, 2024

SAM2-UNet：Segment Anything 2为自然和医学图像分割提供强大的编码器

HTML
PDF
TL;DR本研究解决了图像分割领域中强编码器缺乏的问题，提出了一个名为SAM2-UNet的框架，将Segment Anything Model 2作为编码器，与经典的U型解码器结合。实验结果表明，SAM2-UNet在多个下游任务中表现出优越性，超越了现有的专业最先进方法，具有广泛的应用潜力。
发现论文，激发创造
  • AutoSAM：通过重载提示编码器将 SAM 应用于医学图像

    本文提出的方法通过使用编码器代替条件图像，在未经过进一步的微调的情况下，使用与多种医学影像和视频基准测试上的最新结果来改进 recently introduced Segment Anything Model (SAM) 的能力，并使用曲测解调制网络将其解码为遮罩。

    Jun, 2023

  • SAM-Med2D

    SAM-Med2D是目前最全面的研究，通过收集和整理公开和私有数据集的约4.6M图像和19.7M掩膜构建了一个包括不同模态和对象的大规模医学图像分割数据集，并通过包围盒、点和掩膜的综合提示将自然图像分割模型SAM应用于医学图像分割，进行了彻底的微调，获得了最佳性能和泛化能力。

    Aug, 2023

  • SAM 2：在图像和视频中进行任意分割

    本研究针对图像和视频中的可提示视觉分割问题提出了Segment Anything Model 2（SAM 2），构建了一个用户交互的数据引擎，以收集迄今为止最大的video segmentation数据集。通过使用我们的模型，视频分割的准确性显著提高，且交互次数减少到以前方法的三分之一，展现出在图像分割方面比之前的模型更快和更精准的处理能力。

    Aug, 2024

  • 评估SAM2在伪装物体检测中的作用：从SAM到SAM2

    本研究解决了SAM2在无提示自动模式下对图像中不同物体的感知能力下降的问题。通过研究伪装物体检测这一挑战性任务，文章提出了一种新的评估方法，以期激发研究者对SAM模型家族的进一步探索。研究结果显示，尽管SAM2在视频和图像分割方面有显著提升，其在特定应用上的局限性仍值得关注。

    Jul, 2024

  • SAM2-适配器：在下游任务（伪装、阴影、医学图像分割等）中评估与适配

    本研究针对Segment Anything 2在处理复杂的低级分割任务上的局限性，提出了SAM2-适配器，这是首个旨在解决这些问题的适配器。研究表明，SAM2-适配器在医学图像分割、伪装物体检测和阴影检测等下游任务上达到了新的最先进结果，显著提高了模型的通用性和组合能力。

    Aug, 2024

  • 从SAM到SAM 2：探索Meta的Segment Anything模型的改进

    本研究解决了在计算机视觉中自动分割对象的精确性和效率不足的问题。通过扩展Segment Anything Model（SAM）至视频，SAM 2利用前后帧的记忆生成准确的全视频分割，提供近实时性能。该工作显示出SAM的演变以及未来在计算机视觉技术改进中的重要性。

    Aug, 2024

  • SAM2-适配器：评估与适应Segment Anything 2在下游任务中的应用：伪装、阴影、医学图像分割等

    本研究解决了Segment Anything 2（SAM2）在复杂低级图像分割任务（如伪装物体和医学成像）中的局限性。我们提出SAM2-适配器，这是首个针对SAM2设计的适配器，克服了这些限制并在下游任务中实现了新的最先进成果。实验结果表明，SAM2-适配器具有更强的通用性和组合性，能显著提高图像分割效果。

    Aug, 2024

  • SAM-UNet：提升SAM在通用医学图像上的零样本分割能力

    本研究解决了现有SAM在医学图像分割领域表现不佳的问题，提出了一种新型基础模型SAM-UNet，通过将U-Net集成到原始SAM中，充分利用卷积的上下文建模能力。实验结果表明，SAM-UNet在零样本分割实验中显著超越了之前的大型医学SAM模型，并有效减轻了未见模式下的性能下降，展示出其高效性和可扩展性。

    Aug, 2024

  • 释放SAM2在生物医学图像和视频中的潜力：一项调查

    本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用，尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调，研究指出SAM2在不同数据集和任务中的表现存在差异，但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性，促进了临床应用的发展。

    Aug, 2024

  • 针对类别无关实例级分割的SAM 2评估研究

    本文针对Segment Anything Model 2（SAM2）在类别无关实例级分割任务中的表现进行了评估，填补了现有研究中的评测空白。通过采用不同的提示策略，研究揭示了SAM2在显著实例分割、伪装实例分割和阴影实例检测等场景中的性能差异以及对高分辨率结构分割的局限性。结果显示，SAM2的表现具有场景依赖性，提出利用SAM2适配器以提升大规模视觉模型在该领域的性能上限的建议。

    Sep, 2024