Feb, 2024
从一般化到精确性：在外科环境中探索 SAM 用于工具分割
From Generalization to Precision: Exploring SAM for Tool Segmentation in Surgical Environments
Kanyifeechukwu J. Oguine, Roger D. Soberanis-Mukul, Nathan Drenkow, Mathias Unberath
TL;DR准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用 Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM 在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用 SAM 生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析 SAM 的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的 Endovis18 和 Endovis17 仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高 IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的 IoU 得分。结论：组合的 SAM 预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。