Nov, 2023

零样本眼部特征分割的 Segment Anything Model (SAM)

PDF
TL;DRSegment Anything Model (SAM) 是第一个用于图像分割的基础模型，本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明，SAM 的分割效果可以与专门模型相媲美，且使用提示工具可以提高其性能，示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法，革新注视估计领域，减少对专门模型和繁琐手动标注的依赖。
发现论文，激发创造
  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • SAM.MD：基于 Segment Anything 模型的零样本医学图像分割能力

    本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估，结果表明，SAM 可以很好地适应 CT 数据，因此有望成为半自动分割工具的推手，并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。

    Apr, 2023

  • 医学成像通用视觉基础模型：零样本医学分割中的 “分割任意物体模型” 案例研究

    本研究使用 Segment Anything Model 在医疗图像上进行了定量和定性的零 - shot 分割实验，并发现虽然其在一般领域的图像中表现出色，但在医疗图像中存在一定的局限性，特别是在结构性目标上，而针对这些问题的数量有限的微调可以带来明显的改进。此研究表明了通用视觉基础模型在解决医疗成像中的特定任务方面的多功能性，并展现了这些模型通过微调最终可以应对获取大量不同的医学数据集和应对医学领域的复杂挑战的巨大潜力。

    Apr, 2023

  • SAM3D：基于 Segment Anything 模型的零样本三维物体检测

    本研究旨在将基础模型的能力发挥在 3D 视觉任务中，在通过 SAM 提出的 BEV 流程管道构建的基础上，通过提高零样例能力实现 3D 物体检测，将其应用于 Waymo 开放数据集，展示其可行性。

    Jun, 2023

  • 探索 SAM 模型在二维医学图像中的零样本能力：全面评估与实践指南

    本研究评估了 SAM 2D 在医学成像中的零样本能力，结果显示其性能与目前的最新技术相当甚至更好，并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。

    Apr, 2023

  • 医学图像分割模型？

    SAM 是用于图像分割的第一个通用基础模型，能以自动或手动提示的方式进行零 - shot 图像分割，并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战，SAM 在某些情况下表现出色，但需要结合手动标注才能取得更好的表现。

    Apr, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • 数字病理学的分段任意物模型 (SAM)：在全幅图像上评估零样本分割

    本研究评估了 SAM 模型在数字病理学中零次分割任务的表现，结果表明其可对大型连通对象进行显着分割，但对密集实例对象分割的性能不尽如人意。未来，来自下游病理分割任务的图像的少量微调可能有助于模型在密集对象分割方面取得更好的性能。

    Apr, 2023

  • 医学图像分割中的 Segment-Anything 模型（SAM）的准确性

    通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景，发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。

    Apr, 2023