WS-YOLO:低监督 Yolo 网络用于内窥镜视频中的手术工具定位
基于解剖识别的深度学习方法,通过无监督学习从手术视频中构建手术路径,从而解决内窥镜手术中由于缺乏可区分的纹理和地标以及内窥镜设备的局限性(如有限的视野和光照条件)所带来的定位问题。
May, 2024
本文提出了一种系统的方法来开发针对手术工具检测的强大模型,使用智能主动学习策略和基于学生教师模型的自训练框架,训练数据加载器为了解决基于嘈杂数据的手术工具检测的类别不平衡问题。在实验中,我们的方法有效地演示了比现有方法更好的效果。
Jul, 2023
通过应用共现损失并使用图像级别标签,以便快速且高效地检测手术工具,我们提出了一种在大规模图像数据集上实现手术工具检测的方法,并在 Endovis2018 数据集上的实验证明了其有效性。
Jan, 2024
该研究旨在通过利用机器学习模型,使用手术器械的安装数据作为弱标签,实现对内窥镜视频中的手术器械进行跟踪和定位。SurgToolLoc 2022 挑战赛的结果表明,通过自动检测和跟踪手术器械,既可以提高手术效率和运营,又可以为机器学习和手术数据科学的更广泛应用提供支持。
May, 2023
该研究利用基于卷积神经网络的区域分析法跟踪和分析手术视频中的工具移动,从而自动评估外科医生的手术技能,在空间定位工具的同时,分析手术工具使用模式、运动范围和运动经济性等方面对手术质量进行评估。
Feb, 2018
该研究提出一种基于双目内窥镜深度估计和光流的深度声明网络,通过减小两个几何损失优化相机姿态估计,并且引入了两个自适应的像素权重映射来平衡贡献,实现在挑战性的内窥镜手术场景中更加鲁棒的相机姿态估计,具有推进微创外科领域相关任务(如 SLAM 或 3D 重建)的研究意义。
Apr, 2023
自监督学习 (SSl) 在计算机视觉中取得了重要突破,在生物医学中具有重要作用,特别是在需要高度专业知识的数据注释领域。本研究使用先进的 SSL 框架,即 Masked Siamese Networks (MSNs),对内窥镜视频分析进行研究,以检测和治疗感染、慢性炎症性疾病或癌症。我们构建了大规模的无标签内窥镜视频数据集,用于训练 MSNs,以充分利用 SSL 的优势,并通过有限的注释数据集进行二次训练,从而在内窥镜基准测试中实现了最先进的性能,如腹腔镜和结肠镜手术阶段识别以及结肠镜息肉表征。此外,我们实现了注释数据量的 50%减少,同时不降低性能。因此,我们的工作证明了 SSL 在内窥镜检查中可以大大减少对注释数据的需求。
Aug, 2023
本研究介绍了 EgoSurgery-Tool 数据集,其中包含 49K 个手术工具边界框和 46K 个手边界框的注释,侧重于手术工具和手的检测以实现对头戴式摄像头记录的自我中心开放式手术活动的理解。
Jun, 2024
经过探索性数据分析,我们发现手术视频具有相对简单的语义结构,我们提出了一种基于隐马尔可夫模型(HMM)的深度学习方法,用于工具存在性检测,结果表明,与复杂模型结构的流行深度学习方法相比,我们的方法在性能、训练和运行成本以及数据利用方面都更优,智能地将深度学习和统计学相结合可能会导致更强大的算法,同时享有竞争性能、透明解释和便捷的模型训练方式。
Apr, 2024
本研究使用深度学习方法,基于视频数据进行自动技能评估,结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能,使得人工特征工程不再是必须的。
Mar, 2019