Aug, 2024

单目视频中使用Segment Anything Model 2进行零样本手术工具分割

HTML
PDF
TL;DR本研究解决了在手术视频中缺乏标注数据和手术类型多样性导致的手术工具分割问题。我们采用了Segment Anything Model 2（SAM 2）进行零样本分割，其在不同手术类型视频中的性能展现了其有效性和适用性。研究结果表明，SAM 2在手术视频中表现出色，但在新工具出现时需额外提示以保持分割精度，同时手术视频的特性会影响其稳定性。
发现论文，激发创造
  • 数字病理学的分段任意物模型(SAM)：在全幅图像上评估零样本分割

    本研究评估了SAM模型在数字病理学中零次分割任务的表现，结果表明其可对大型连通对象进行显着分割，但对密集实例对象分割的性能不尽如人意。未来，来自下游病理分割任务的图像的少量微调可能有助于模型在密集对象分割方面取得更好的性能。

    Apr, 2023

  • 医学图像分割模型?

    SAM是用于图像分割的第一个通用基础模型，能以自动或手动提示的方式进行零-shot图像分割，并在不同的自然图像分割任务中取得了令人瞩目的成绩。但在医学图像分割方面仍然存在一定挑战，SAM在某些情况下表现出色，但需要结合手动标注才能取得更好的表现。

    Apr, 2023

  • 医学图像上的SAM：三种提示模式的全面研究

    本文针对 Segment Anything Model（SAM）在医学图像分割领域的 zero-shot 泛化能力进行了研究，并发现模型对于不同数据集和提示的表现会有差异，通过提供适当的提示，如边界框，SAM的性能显著提高。

    Apr, 2023

  • 探索 SAM 模型在二维医学图像中的零样本能力：全面评估与实践指南

    本研究评估了SAM 2D在医学成像中的零样本能力，结果显示其性能与目前的最新技术相当甚至更好，并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。

    Apr, 2023

  • 从一般化到精确性：在外科环境中探索SAM用于工具分割

    准确的工具分割对于计算机辅助程序至关重要。在医学场景中，由于存在伪影和有限的训练数据，这项任务存在挑战。在未见数据上具有普遍性的方法代表了一个有趣的途径，其中零样本分割提供了解决数据限制问题的选项。使用Segment Anything Model（SAM）进行初探性工作表明，基于边界框提示的方法具有显著的零样本普适性，然而基于点的提示导致性能下降，并且在图像破坏的情况下进一步恶化。我们认为，SAM在高度受损图像上进行了过度分割，导致仅考虑单个分割掩码时性能下降，而重叠目标的分割掩码的组合则能产生准确的预测。本文利用SAM生成内窥镜帧的过度分割预测，并使用地面真实工具掩膜分析SAM的结果，当选择最佳的单个掩码作为预测时以及当结合所有与感兴趣对象重叠的各个掩码以获得最终预测掩码时。我们使用合成损坏、强度不同的Endovis18和Endovis17仪器分割数据集以及一种自行创建的现实世界数据集进行分析。将过度分割的掩码组合可提高IoU。此外，在清晰图像上选择最佳单个分割时，得到了具有竞争力的IoU得分。结论：组合的SAM预测结果在一定程度的破坏下显示出了改进的结果和鲁棒性，然而在医学领域实施这些模型需要恰当的提示策略。

    Feb, 2024

  • 视频中实时外科器械分割:基于点跟踪和全能分割

    在这项研究中，我们采用轻量级的Segment Anything Model (SAM) 变体以满足速度要求，并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级SAM模型构建了一个新颖的框架，用于外科器械分割。在EndoVis 2015数据集上，定量结果超过了半监督视频对象分割方法的最新水平，并且可以在单个GeForce RTX 4060 GPU上以超过25 FPS的推理速度运行。

    Mar, 2024

  • 在医学图像和视频中分割任何东西：基准和部署

    本研究解决了当前分割基础模型在医学数据中应用的不明确性，全面基准测试了Segment Anything Model 2（SAM2）在11种医学图像和视频中的性能。通过转移学习管道，显示出SAM2能够快速适应医学领域，并实现了其作为3D切片插件和Gradio API的高效部署，为医学图像和视频分割提供了新的解决方案。

    Aug, 2024

  • 机器人手术中的SAM 2：外科视频分割的鲁棒性和泛化的实证评估

    本研究针对机器人辅助手术中的视频分割挑战，探讨了Segment Anything Model (SAM) 2的零样本分割性能及其对现实世界干扰的鲁棒性。通过在MICCAI EndoVis 2017和2018基准数据集上的广泛实验，结果显示，SAM 2在使用边界框提示时超越了最先进的方法，并在1点提示的应用中接近或超过了现有的无提示方法，展示了其在有限提示需求下的潜力。

    Aug, 2024

  • 外科SAM 2：通过高效帧剪枝实时段任何外科视频

    本研究解决了外科视频分割中的效率问题，提出了外科SAM 2（SurgSAM-2）模型，利用高效帧剪枝机制（EFP）实现实时分割。SurgSAM-2通过动态管理内存，仅保留最具信息量的帧，显著提高了分割精度与效率，达到3倍的帧率提升，推动了资源有限环境下外科视频分析的现实应用。

    Aug, 2024

  • 释放SAM2在生物医学图像和视频中的潜力：一项调查

    本研究探讨了现有的分割基础模型在处理生物医学图像和视频方面的应用，尤其聚焦于SAM2模型的适用性和局限性。通过适应和微调，研究指出SAM2在不同数据集和任务中的表现存在差异，但在减少注释负担和实现零-shot分割方面展现出潜力。该工作强调了填补自然与医学图像领域差距的重要性，促进了临床应用的发展。

    Aug, 2024