机器人手术 meets SAM: 从鲁棒性角度的经验研究
基于 Segment Anything Model(SAM)的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究,发现 SAM 在使用边界框提示时表现出卓越的零样本泛化能力,但在点提示和未提示设置下,对仪器的整体分割困难重重,且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的 Low-rank Adaptation(LoRA)调整方法结合 SAM,形成 SurgicalSAM 在不使用提示的情况下可以对各个类别的仪器进行遮罩预测,从而说明 SAM 在手术任务中仍需要进一步的专业领域微调。
Aug, 2023
SurgicalSAM 是一种针对显著改善 SAM 泛化性能的新型端到端高效调优方法,引入了轻量级基于原型的类提示编码器,并提出了对比原型学习以进一步增强类原型的区分力,通过在 EndoVis2018 和 EndoVis2017 数据集上进行广泛实验,证明其达到了最先进的性能,仅需要少量可调参数。
Aug, 2023
准确的工具分割对于计算机辅助程序至关重要。在医学场景中,由于存在伪影和有限的训练数据,这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径,其中零样本分割提供了解决数据限制问题的选项。使用 Segment Anything Model(SAM)进行初探性工作表明,基于边界框提示的方法具有显著的零样本普适性,然而基于点的提示导致性能下降,并且在图像破坏的情况下进一步恶化。我们认为,SAM 在高度受损图像上进行了过度分割,导致仅考虑单个分割掩码时性能下降,而重叠目标的分割掩码的组合则能产生准确的预测。本文利用 SAM 生成内窥镜帧的过度分割预测,并使用地面真实工具掩膜分析 SAM 的结果,当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的 Endovis18 和 Endovis17 仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高 IoU。此外,在清晰图像上选择最佳单个分割时,得到了具有竞争力的 IoU 得分。结论:组合的 SAM 预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性,然而在医学领域实施这些模型需要恰当的提示策略。
Feb, 2024
本文针对 Segment Anything Model(SAM)在医学图像分割领域的 zero-shot 泛化能力进行了研究,并发现模型对于不同数据集和提示的表现会有差异,通过提供适当的提示,如边界框,SAM 的性能显著提高。
Apr, 2023
该文讨论使用提示依靠快速学习和收集大规模数据进行目标检测的 Segment anything model (SAM) 是否能够在威胁场景下提供可靠性,发现 SAM 对于多种污染具有显着的鲁棒性,但在受到 PGD 和 BIM 攻击时容易受到影响,因此提出了一系列新任务以提高 SAM 的鲁棒性。
May, 2023
本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM 可以很好地适应 CT 数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
研究通过开发 Surgical-DeSAM 方法,利用 Bounding Box 提示和实时机器人手术,实现了实时仪器分割,并在 MICCAI 手术仪器分割挑战 EndoVis 2017 和 2018 数据集上显著改进仪器分割方法的性能。
Apr, 2024
通过实验探究 SAM 模型对 12 个不同器官、图像模式和健康情况的医学图像数据集的精确度及其在医学图像分割方向上的应用前景,发现 SAM 模型在没有重新训练医学图像时准确度没有 U-Net 和其他深度学习模型高。
Apr, 2023
采用模拟用户交互生成候选掩码并使用新的聚合方法输出最兼容的掩码,Simulated Interaction for Segment Anything Model (SimSAM) 在医学图像中展示出较零射击方法有着更高的分割准确性。
Jun, 2024