Dec, 2023

提示策略对短轴心脏磁共振图像分割中的 Segment Anything Model (SAM) 的影响

PDF
TL;DR在本研究中，我们使用 Segment Anything Model (SAM) 的基础模型来探索不同提示策略（包括包围框、正样本点、负样本点及其组合）对心脏磁共振成像（cMRI）短轴视图分割任务的影响。我们发现提示策略显著影响分割性能，正样本点与包围框或负样本点相结合可以带来实质性效益，但同时组合使用时效果有限。我们进一步观察到，在适当的提示下，使用少量注释数据对 SAM 进行微调可以改善分割性能，使用包围框进行微调对性能有积极影响，而无包围框进行微调会导致比基准模型更差的结果。
发现论文，激发创造
  • 医学影像分割模型：实验研究

    本文对 Segment Anything Model 在医学图像中的效果进行了评估，结果表明性能受任务和数据集影响较大，需要进一步研究来适应医学图像领域。

    Apr, 2023

  • 医学图像上的 SAM：三种提示模式的全面研究

    本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM 的性能显著提高。

    Apr, 2023

  • 增强医学图像分割的基础模型多提示微调技术

    我们引入了一种新颖的微调框架，通过批处理基于真实掩蔽的边界框引入批量提示策略，以提高 Segment Anything Model 在医学图像上的性能表现和广泛的分割任务中解决医学图像中常见的复杂性和模糊性。

    Oct, 2023

  • 如何利用 Segment Anything Model (SAM) 提升医学图像分割？

    该论文综述了 Segment Anything Model（SAM）在医学图像分割中的应用，包括实证基准测试和方法论改进，并讨论了 SAM 在医学图像分割中的未来方向和文献综述。

    May, 2023

  • 非可见光谱影像应用的片段任意模型性能评估与变分提示

    Segment Anything Model (SAM) 通过使用不同的输入提示（如文本、边界框、点或掩膜）生成掩膜，克服了特定数据集稀缺性的约束，评估了 SAM 在 X 射线 / 红外模态中分割感兴趣对象的能力，结果表明 SAM 在给定盒子提示时可以分割 X 射线模态中的对象，但对于点提示而言，表现不稳定，特别是在分割细长物体和有机材料方面，SAM 的性能较差，这表明在考虑在 X 射线 / 红外图像上使用 SAM 时需要特别考虑跨模态泛化的问题。

    Apr, 2024

  • 医学图像分割的分割全模型：现阶段的应用与未来发展方向

    通过综述快速模型（SAM）在医学图像分割领域的应用，本文总结了对 SAM 在医学图像分割任务中的有效性进行扩展的最近努力，并探讨了未来 SAM 在医学图像分割中的研究方向。尽管直接应用 SAM 到多模态和多目标医学数据集的图像分割上表现不够令人满意，但从这些努力中得到的众多见解对于塑造医学图像分析领域的基础模型的发展轨迹起到了宝贵的指导作用。

    Jan, 2024

  • SAM.MD：基于 Segment Anything 模型的零样本医学图像分割能力

    本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估，结果表明，SAM 可以很好地适应 CT 数据，因此有望成为半自动分割工具的推手，并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。

    Apr, 2023

  • 自训练的大型视觉模型用于少样本医学图像分割

    通过对 SAM 的嵌入空间进行自我提示，我们提出了一种在医学视觉应用中自我提示的新视角，通过一个简单而有效的线性像素分类器，保留了大模型的编码能力、其解码器的上下文信息，并利用其互动性，我们在多个数据集上取得了竞争性的结果（与使用少量图像微调掩模解码器相比，改进超过 15%）

    Aug, 2023

  • 在放射学数据上测试 segment anything 模型

    深度学习模型在大量数据训练下已成为最近有效的预测问题解决方法，研究了基于自然图像训练的基础模型在磁共振成像数据上的分割任务性能，结果表明这些模型虽然在少数情况下可接受，但根据整体趋势，它们在整个体积的磁共振成像分割上不够有效，而在少数特定切片上表现良好，这提示基于自然图像训练的基础模型可能在其他成像模态上效果不佳。

    Dec, 2023

  • SAM 交互式医学图像分割的拓展时间提示优化

    本文研究了使用交互式医学图像分割范例中的 SAM 零 - shot 能力增强医学图像分割的潜力，并提出了一种叫做 TEPO 的自适应提示形式优化框架来解决人类专家支持下的 SAM 脆弱性问题，并通过强化学习来进一步提高 SAM 在 MIS 上的零 - shot 能力。在标准基准 BraTS2020 上的数值实验表明，学习到的 TEPO 代理可以进一步增强 SAM 在 MIS 上的零 - shot 能力。

    Jun, 2023