手术器械跟踪的并发分割和定位
本文介绍了一项比较研究,探讨了在机器人以及传统腹腔镜手术中,基于视觉的不同方法用于器械分割和追踪的效果。研究表明,现代的深度学习方法在器械分割任务中表现优异,但结果还不完美。此外,合并不同方法的结果实际上显著提高了准确性。与此同时,器械追踪任务的结果表明,在传统腹腔镜手术中这仍然是一个待解决的挑战。
May, 2018
本文基于深度学习技术,提出一种轻量级单阶段实例分割模型结合卷积块关注模块的方案,通过数据增强和最优锚定策略进一步提高准确性,实现了对手术器械的实时跟踪和分割,并在 ROBUST-MIS 挑战中取得了44%以上的优异表现。
Nov, 2021
该综述文章着重介绍了目前基于纯视觉的、不附加任何标记的单帧和带有时间信息的最小侵入性手术图像中手术工具分割和跟踪方法,重点关注深度学习方法和公开数据集的使用,讨论了存在的不足之处和未来发展的潜能。
Apr, 2023
提出了一种高保真度的非标记光学跟踪系统,用于手术器械的本地化,采用多视角相机布置,利用深度学习方法和数据融合技术,对不同输入模型和相机位置进行评估和比较,并且取得了比文献中相关方法更好的平均误差结果,从而展示了手术器械无标记跟踪已经成为了现实。
May, 2023
通过对515篇文献的审查,我们更新了医学计算机视觉领域中基于相机的手术和诊断中的跟踪和场景建模的状况,并总结了算法的最新发展,重点关注可变形环境下的算法,并讨论了对未来算法的需求、量化的需求以及临床应用的可行性。
Oct, 2023
提出了一种基于2D分割的仪器追踪方法,通过几何变化和运动算法,实现对手术视频中仪器的标记和跟踪,验证了该方法在仪器追踪和微创手术实践中的应用潜力。
Jan, 2024
在这项研究中,我们采用轻量级的Segment Anything Model (SAM) 变体以满足速度要求,并采用微调技术来增强其在外科手术场景中的泛化能力。我们结合在线点追踪器和经过微调的轻量级SAM模型构建了一个新颖的框架,用于外科器械分割。在EndoVis 2015数据集上,定量结果超过了半监督视频对象分割方法的最新水平,并且可以在单个GeForce RTX 4060 GPU上以超过25 FPS的推理速度运行。
Mar, 2024
本研究解决了基于视觉的手术导航中手术仪器三维跟踪的挑战,包括弱纹理和遮挡等问题,提出了一种无CAD的两阶段三维仪器跟踪方法SurgTrack。通过引入仪器有符号距离场(SDF)和姿态图优化模块,该方法显著改善了跟踪结果的鲁棒性及准确性,并在实验中展示出卓越的性能和可扩展性。
Sep, 2024
本研究针对外科视频中工具和解剖结构的像素级定位问题,提出了一种高效的注释框架,利用图像自监督物体发现方法来识别外科场景中的关键工具和结构。在仅用36个注释标签的条件下,我们的方法显示出与完全监督模型相当的定位性能,并通过使用外科阶段标签进一步提升了约2%的工具定位准确率。
Sep, 2024
本研究针对传统无监督外科器械分割方法在复杂内窥镜场景中的有效性和泛化能力不足的问题,提出了一种无标签的无监督模型AMNCutter,其中引入了多视角归一化切割器模块。该方法通过图切损失函数结合补丁亲和力进行训练,能够有效整合低层和高层特征,显著提升了模型的性能和通用性。
Nov, 2024