从叉子到鹰嘴钳:一种新的外科手术器械实例分割框架
本文基于深度学习技术,提出一种轻量级单阶段实例分割模型结合卷积块关注模块的方案,通过数据增强和最优锚定策略进一步提高准确性,实现了对手术器械的实时跟踪和分割,并在 ROBUST-MIS 挑战中取得了44%以上的优异表现。
Nov, 2021
该综述文章着重介绍了目前基于纯视觉的、不附加任何标记的单帧和带有时间信息的最小侵入性手术图像中手术工具分割和跟踪方法,重点关注深度学习方法和公开数据集的使用,讨论了存在的不足之处和未来发展的潜能。
Apr, 2023
SurgicalSAM是一种针对显著改善SAM泛化性能的新型端到端高效调优方法,引入了轻量级基于原型的类提示编码器,并提出了对比原型学习以进一步增强类原型的区分力,通过在EndoVis2018和EndoVis2017数据集上进行广泛实验,证明其达到了最先进的性能,仅需要少量可调参数。
Aug, 2023
通过仅使用二进制工具遮罩以及机器人辅助手术中的二进制工具存在标签,我们开发了一个无需空间注释的实例分割框架,该框架能从单帧中提取个体工具实例并进行语义特征编码,使得只需以人类操作员进行工具类别标记的方式便能有效训练工具实例分类器。通过验证我们的框架在EndoVis 2017和2018分割数据集上,我们发现与几种最先进的全监督分割方法相比,通过手动注释或基于无监督二进制分割模型的预测获得的二进制遮罩的实例分割方法无需空间注释且性能更优。
Sep, 2023
我们提出了一种新的弱监督手术器械实例分割方法,名为基于点的弱监督实例分割(PWISeg)。该方法通过采用基于FCN的架构,使用点到框和点到掩模分支来建模特征点与边界框以及特征点与分割掩模之间的关系,在单个模型中联合完成手术器械的检测和分割任务。我们提供了一个详细的手术器械数据集,并进行了广泛的实验验证,结果表明我们的PWISeg在手术器械分割任务上具有卓越的性能。
Nov, 2023
通过将手术器械结构知识与SAM的通用分割知识集成,我们提出了SP-SAM(手术器械的分割模型),它通过文本提示将器械分解为细粒度部分,并通过选择性融合和分层解码策略将部分级别的表示组合成一个整体,以实现精确的器械分割。在EndoVis2018和EndoVis2017数据集上的广泛实验证明了SP-SAM具有最先进的性能。
Dec, 2023
本研究解决了传统手术仪器分割方法无法有效处理被遮挡部分的问题。通过引入模态分割技术,本文展示了如何识别可见和被遮挡的仪器部分,同时构建了新的Amoal Instruments Segmentation(AIS)数据集,以提升腹腔镜手术的指导和分析能力。研究结果显示,该技术对提高手术安全性和教育意义具有重要影响。
Aug, 2024
本研究针对外科图像中的仪器分割问题,提出了一种无监督的方法,通过将视频帧分割视为图划分问题,显著降低了对人工标注的依赖。使用自监督预训练模型提取特征,并通过拉普拉斯矩阵实现有效的分割,不仅在多个数据集上表现优异,还展示了其在临床应用上的潜在影响。
Aug, 2024
本研究系统评估了深度学习在机器人辅助手术中对外科器械的识别与分割的应用,填补了这一领域的研究空白。研究发现,先进的深度学习模型显著提升了器械检测与分割的精度和效率,并为外科手术提供了实时指导和客观评估。未来的研究应集中于自动化处理以及扩展深度学习技术在各类手术领域的应用。
Oct, 2024
本研究解决了现有无监督外科器械分割方法在复杂内镜场景中的有效性和通用性不足的问题。我们提出了一种无标签的无监督模型,采用名为多视图归一化切割器的创新模块,通过图切割损失函数,而不依赖伪标签,显著提高了模型的效果与泛化能力。实验结果表明该方法在多个外科器械分割数据集上表现出色,具备作为预训练模型的巨大潜力。
Nov, 2024