Mar, 2024

视频中实时外科器械分割:基于点跟踪和全能分割

HTML
PDF
TL;DR在这项研究中，我们采用轻量级的Segment Anything Model (SAM) 变体以满足速度要求，并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级SAM模型构建了一个新颖的框架，用于外科器械分割。在EndoVis 2015数据集上，定量结果超过了半监督视频对象分割方法的最新水平，并且可以在单个GeForce RTX 4060 GPU上以超过25 FPS的推理速度运行。
发现论文，激发创造
  • 医学图像分割模型?

    SAM是用于图像分割的第一个通用基础模型，能以自动或手动提示的方式进行零-shot图像分割，并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战，SAM在某些情况下表现出色，但需要结合手动标注才能取得更好的表现。

    Apr, 2023

  • SAM遇见机器人手术：关于泛化性、鲁棒性和适应性的实证研究

    基于Segment Anything Model（SAM）的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究，发现SAM在使用边界框提示时表现出卓越的零样本泛化能力，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的Low-rank Adaptation（LoRA）调整方法结合SAM，形成SurgicalSAM在不使用提示的情况下可以对各个类别的仪器进行遮罩预测，从而说明SAM在手术任务中仍需要进一步的专业领域微调。

    Aug, 2023

  • SurgicalSAM: 高效可类别提示的手术工具分割

    SurgicalSAM是一种针对显著改善SAM泛化性能的新型端到端高效调优方法，引入了轻量级基于原型的类提示编码器，并提出了对比原型学习以进一步增强类原型的区分力，通过在EndoVis2018和EndoVis2017数据集上进行广泛实验，证明其达到了最先进的性能，仅需要少量可调参数。

    Aug, 2023

  • SAMSNeRF: 通过神经辐射场（NeRF）的动态手术场景重建，由Segment Anything Model (SAM)指导

    我们提出了一种名为SAMSNeRF的创新方法，结合了Segment Anything Model（SAM）和Neural Radiance Field（NeRF）技术，通过SAM生成手术工具的准确分割掩模，在NeRF的指导下对动态手术场景进行精细重建，实验结果表明我们的方法成功重建了具有高保真度的动态手术场景，并准确反映了手术工具的空间信息，从而大大提升了手术导航和自动化的效果。

    Aug, 2023

  • 基于基础模型的生物医学图像分割: 综述

    最近许多生物医学影像分析领域的进展主要受到Segment Anything Model (SAM)的推动。这项先进的技术最初是为了通用计算机视觉而开发的，但在医学图像处理领域得到了迅速应用。我们的综述聚焦于2023年4月1日至9月30日这段重要的首次出版后六个月的时期，我们研究了SAM在解决长期临床挑战方面所需的改进和整合，特别关注了我们分析的33个开放数据集。尽管SAM在许多应用中达到了或超越了最先进的性能水平，但在一些方面仍存在不足，例如对颈动脉、肾上腺、视神经和下颌骨的分割。我们的调查深入研究了SAM的创新技术和其在各种医学影像场景中有效转化和应用的核心概念。

    Jan, 2024

  • 从一般化到精确性：在外科环境中探索SAM用于工具分割

    准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用SAM生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析SAM的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的Endovis18和Endovis17仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的IoU得分。结论：组合的SAM预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。

    Feb, 2024

  • Surgical-DeSAM: 机器人手术中仪器分割的SAM解耦

    研究通过开发Surgical-DeSAM方法，利用Bounding Box提示和实时机器人手术，实现了实时仪器分割，并在MICCAI手术仪器分割挑战EndoVis 2017和2018数据集上显著改进仪器分割方法的性能。

    Apr, 2024

  • 单目视频中使用Segment Anything Model 2进行零样本手术工具分割

    本研究解决了在手术视频中缺乏标注数据和手术类型多样性导致的手术工具分割问题。我们采用了Segment Anything Model 2（SAM 2）进行零样本分割，其在不同手术类型视频中的性能展现了其有效性和适用性。研究结果表明，SAM 2在手术视频中表现出色，但在新工具出现时需额外提示以保持分割精度，同时手术视频的特性会影响其稳定性。

    Aug, 2024

  • 机器人手术中的SAM 2：外科视频分割的鲁棒性和泛化的实证评估

    本研究针对机器人辅助手术中的视频分割挑战，探讨了Segment Anything Model (SAM) 2的零样本分割性能及其对现实世界干扰的鲁棒性。通过在MICCAI EndoVis 2017和2018基准数据集上的广泛实验，结果显示，SAM 2在使用边界框提示时超越了最先进的方法，并在1点提示的应用中接近或超过了现有的无提示方法，展示了其在有限提示需求下的潜力。

    Aug, 2024

  • 机器人辅助手术中的全方位跟踪

    本研究针对机器人辅助手术中的组织和工具准确跟踪问题，提出了一种新的标注手术跟踪数据集，以评估现有追踪方法的效果。通过对最先进的TAP算法进行详尽评估，发现其在复杂手术场景中的局限性，并进一步提出SurgMotion方法，显著提升了在困难医疗视频中的追踪效果。

    Sep, 2024