Mar, 2024

视频中实时外科器械分割：基于点跟踪和全能分割

PDF
TL;DR在这项研究中，我们采用轻量级的 Segment Anything Model (SAM) 变体以满足速度要求，并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级 SAM 模型构建了一个新颖的框架，用于外科器械分割。在 EndoVis 2015 数据集上，定量结果超过了半监督视频对象分割方法的最新水平，并且可以在单个 GeForce RTX 4060 GPU 上以超过 25 FPS 的推理速度运行。
segment anything modelsamrobotically assisted surgeryaugmented reality guidancefine-tuning techniques
发现论文，激发创造
  • SurgicalSAM: 高效可类别提示的手术工具分割

    SurgicalSAM 是一种针对显著改善 SAM 泛化性能的新型端到端高效调优方法，引入了轻量级基于原型的类提示编码器，并提出了对比原型学习以进一步增强类原型的区分力，通过在 EndoVis2018 和 EndoVis2017 数据集上进行广泛实验，证明其达到了最先进的性能，仅需要少量可调参数。

    Aug, 2023

  • 任意物体的分割及其点追踪

    本文介绍了 SAM-PT 方法，将 SAM 方法扩展至跟踪和分段动态视频中的任何内容，利用强健的和稀疏的点选择和传播技术进行 mask 的生成，并在 DAVIS、YouTube-VOS 和 MOSE 等流行的视频对象分割基准中展示 SAM 基于分割跟踪器可以产生强的零度成像性能。

    Jul, 2023

  • SAM 遇见机器人手术：关于泛化性、鲁棒性和适应性的实证研究

    基于 Segment Anything Model（SAM）的语义分割模型在机器人手术领域的鲁棒性、零样本泛化性能等方面进行了实证研究，发现 SAM 在使用边界框提示时表现出卓越的零样本泛化能力，但在点提示和未提示设置下，对仪器的整体分割困难重重，且在复杂手术场景中无法识别仪器且容易受到各种数据破坏形式的影响。提出的 Low-rank Adaptation（LoRA）调整方法结合 SAM，形成 SurgicalSAM 在不使用提示的情况下可以对各个类别的仪器进行遮罩预测，从而说明 SAM 在手术任务中仍需要进一步的专业领域微调。

    Aug, 2023

  • 机器人手术 meets SAM: 从鲁棒性角度的经验研究

    本研究探讨了 Segment Anything Model 在机器人手术领域的鲁棒性和零样本泛化能力，并发现该模型在利用点基提示和未提示的设置下，对机器人手术仪器的分割效果较差，且在一些复杂的手术场景中无法识别器械。同时，该模型也缺乏足够的鲁棒性，需要进一步进行领域特定的微调。

    Apr, 2023

  • 从一般化到精确性：在外科环境中探索 SAM 用于工具分割

    准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用 Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM 在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用 SAM 生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析 SAM 的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的 Endovis18 和 Endovis17 仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高 IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的 IoU 得分。结论：组合的 SAM 预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。

    Feb, 2024

  • 分割和追踪任何事物

    该报告介绍了一种名为 SAMTrack 的框架，它允许用户精确有效地分割和跟踪视频中的任何物体，同时使用多模态交互方法对选择的多个物体进行追踪，可以在无人机技术、自动驾驶、医学成像、增强现实和生物分析等领域中使用。SAM-Track 将交互式关键帧分割模型 SAM 与提出的具有 AOT 的跟踪模型（DeAOT）结合起来，以便在视频中追踪物体，并融合了 Grounding-DINO，使该框架支持基于文本的交互。我们在 DAVIS-2016 Val（92.0％），DAVIS-2017 Test（79.2％）中展示了 SAM-Track 的显着能力，并在实际应用中展现其实用性。

    May, 2023

  • Surgical-DeSAM: 机器人手术中仪器分割的 SAM 解耦

    研究通过开发 Surgical-DeSAM 方法，利用 Bounding Box 提示和实时机器人手术，实现了实时仪器分割，并在 MICCAI 手术仪器分割挑战 EndoVis 2017 和 2018 数据集上显著改进仪器分割方法的性能。

    Apr, 2024

  • AdaptiveSAM：用于手术场景分割的 SAM 调优方法

    手术场景分析中使用人工智能的分割是一个基本问题。然而，这个领域内固有的数据稀缺性使得为该任务调整传统分割技术变得具有挑战性。因此，我们提出了一种名为 AdaptiveSAM 的改进模型，可以快速有效地适应新的数据集，并可以使用文本提示进行分割，其在各种医学图像数据集上优于当前最先进的方法。

    Aug, 2023

  • 无需训练的鲁棒交互式视频目标分割

    我们提出了一种无需训练的提示跟踪框架，将稀疏点和框跟踪相结合，采用交叉循环时空模块从多次交互中自适应地聚合引用信息，实现了在流行的 VOS 数据集上稳定的零样本视频分割结果，保持了性能和交互时间之间的良好权衡。

    Jun, 2024

  • 零样本眼部特征分割的 Segment Anything Model (SAM)

    Segment Anything Model (SAM) 是第一个用于图像分割的基础模型，本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明，SAM 的分割效果可以与专门模型相媲美，且使用提示工具可以提高其性能，示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法，革新注视估计领域，减少对专门模型和繁琐手动标注的依赖。

    Nov, 2023