SAF-IS：一种用于手术工具实例分割的无需空间注释的框架

Sep, 2023

SAF-IS：一种用于手术工具实例分割的无需空间注释的框架

SAF-IS: a Spatial Annotation Free Framework for Instance Segmentation of Surgical Tools

Luca Sestini, Benoit Rosa, Elena De Momi, Giancarlo Ferrigno, Nicolas Padoy

TL;DR通过仅使用二进制工具遮罩以及机器人辅助手术中的二进制工具存在标签，我们开发了一个无需空间注释的实例分割框架，该框架能从单帧中提取个体工具实例并进行语义特征编码，使得只需以人类操作员进行工具类别标记的方式便能有效训练工具实例分类器。通过验证我们的框架在 EndoVis 2017 和 2018 分割数据集上，我们发现与几种最先进的全监督分割方法相比，通过手动注释或基于无监督二进制分割模型的预测获得的二进制遮罩的实例分割方法无需空间注释且性能更优。

Abstract

instance segmentation of surgical instruments is a long-standing research problem, crucial for the development of many applications for computer-assisted surgery. This problem is commonly tackled via fully-superv

instance segmentation surgical instruments computer-assisted surgery unsupervised approaches binary tool masks

发现论文，激发创造

从叉子到鹰嘴钳：一种新的外科手术器械实例分割框架

本篇研究提出了一种新的神经网络框架，该框架基于实例分割模型添加分类模块以提高手术工具实例分割的准确性，并采用度量学习技术来处理手术器械类别的低变异性，并在评测数据集上证明了其优越性。

Nov, 2022

微创手术视频中的弱半监督工具检测

通过应用共现损失并使用图像级别标签，以便快速且高效地检测手术工具，我们提出了一种在大规模图像数据集上实现手术工具检测的方法，并在 Endovis2018 数据集上的实验证明了其有效性。

Jan, 2024

PWISeg：点云弱监督下的手术器械实例分割

我们提出了一种新的弱监督手术器械实例分割方法，名为基于点的弱监督实例分割（PWISeg）。该方法通过采用基于 FCN 的架构，使用点到框和点到掩模分支来建模特征点与边界框以及特征点与分割掩模之间的关系，在单个模型中联合完成手术器械的检测和分割任务。我们提供了一个详细的手术器械数据集，并进行了广泛的实验验证，结果表明我们的 PWISeg 在手术器械分割任务上具有卓越的性能。

Nov, 2023

基于语义图像分割实现的无需训练的目标实例分割

提出了一种名为训练免费实例分割（TFISeg）的新范式，通过使用现成的语义分割模型预测的图像遮罩实现实例分割结果，避免了训练语义或 / 和实例分割模型以及实例级图像注释的需求，达到高效的目的。与最先进的全监督实例分割方法相比，TFISeg 无需额外的人力资源或增加的计算成本，并能获得具有竞争力的结果。

Aug, 2023

基于注意力机制和多尺度特征融合的手术器械实时实例分割

本文基于深度学习技术，提出一种轻量级单阶段实例分割模型结合卷积块关注模块的方案，通过数据增强和最优锚定策略进一步提高准确性，实现了对手术器械的实时跟踪和分割，并在 ROBUST-MIS 挑战中取得了 44% 以上的优异表现。

Nov, 2021

Surgical-DeSAM: 机器人手术中仪器分割的 SAM 解耦

研究通过开发 Surgical-DeSAM 方法，利用 Bounding Box 提示和实时机器人手术，实现了实时仪器分割，并在 MICCAI 手术仪器分割挑战 EndoVis 2017 和 2018 数据集上显著改进仪器分割方法的性能。

Apr, 2024

从一般化到精确性：在外科环境中探索 SAM 用于工具分割

准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用 Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM 在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用 SAM 生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析 SAM 的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的 Endovis18 和 Endovis17 仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高 IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的 IoU 得分。结论：组合的 SAM 预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。

Feb, 2024

使用深度学习进行机器人辅助手术中的自动仪器分割

该研究描述了他们在 MICCAI 2017 内窥镜视觉子挑战赛中赢得的机器人工具分割选手冠军的解决方案，该解决方案通过使用几种新颖的深度神经网络架构获得了比现有技术更好的结果来解决机器人手术中的工具语义分割问题。

Mar, 2018

SurgicalSAM: 高效可类别提示的手术工具分割

SurgicalSAM 是一种针对显著改善 SAM 泛化性能的新型端到端高效调优方法，引入了轻量级基于原型的类提示编码器，并提出了对比原型学习以进一步增强类原型的区分力，通过在 EndoVis2018 和 EndoVis2017 数据集上进行广泛实验，证明其达到了最先进的性能，仅需要少量可调参数。

Aug, 2023

基于骨架辅助的显微镜细分微细分割

通过提出一种名为 A2B-IS 的新框架，结合高斯骨架图和半监督学习策略，我们解决了显微镜图像分析中实例分割的一个基本挑战，使得模型在处理群集区域，连接的多个不同大小和形状的目标以及任意方向重叠的情况下能够获得更高的准确度。

Jan, 2024