可视化插件:用于从微创手术视频中跟踪三维工具
本文介绍了一项比较研究,探讨了在机器人以及传统腹腔镜手术中,基于视觉的不同方法用于器械分割和追踪的效果。研究表明,现代的深度学习方法在器械分割任务中表现优异,但结果还不完美。此外,合并不同方法的结果实际上显著提高了准确性。与此同时,器械追踪任务的结果表明,在传统腹腔镜手术中这仍然是一个待解决的挑战。
May, 2018
该综述文章着重介绍了目前基于纯视觉的、不附加任何标记的单帧和带有时间信息的最小侵入性手术图像中手术工具分割和跟踪方法,重点关注深度学习方法和公开数据集的使用,讨论了存在的不足之处和未来发展的潜能。
Apr, 2023
利用深度学习,将 2D 的手术工具姿态估计重构为热力图回归,与分割同时进行。实验证明,该方法可以显著提高性能,超越现有技术在 Retinal Microsurgery 和 MICCAI EndoVis Challenge 2015 的表现。
Mar, 2017
提出了一种高保真度的非标记光学跟踪系统,用于手术器械的本地化,采用多视角相机布置,利用深度学习方法和数据融合技术,对不同输入模型和相机位置进行评估和比较,并且取得了比文献中相关方法更好的平均误差结果,从而展示了手术器械无标记跟踪已经成为了现实。
May, 2023
该研究提出了使用神经场方法进行腹腔镜视频追踪的技术,可以同时追踪手术工具和解剖结构,具有较高的追踪精度,并能生成与预训练深度估计器相媲美的伪深度图像,从而展示了使用神经场进行单目腹腔镜场景的 3D 重建的可行性。
Mar, 2024
通过图学习、多模态信息和交叉验证,我们提出了一种新的视觉 - 运动学图学习框架,精确地对给定的各种手术过程中的手术器械尖端进行分割。
Sep, 2023
该研究旨在通过利用机器学习模型,使用手术器械的安装数据作为弱标签,实现对内窥镜视频中的手术器械进行跟踪和定位。SurgToolLoc 2022 挑战赛的结果表明,通过自动检测和跟踪手术器械,既可以提高手术效率和运营,又可以为机器学习和手术数据科学的更广泛应用提供支持。
May, 2023
SurgiTrack 是一种利用 YOLOv7 进行精确工具检测的深度学习方法,通过关注机制模拟工具的起始方向并利用调和的二分匹配图处理不同的工具轨迹视角,提供更具适应性和精确性的微创手术辅助,此方法在 CholecTrack20 数据集上的实验证明了其有效性,优于基线模型和现有技术方法,并具备实时推理能力。
May, 2024
本研究使用深度学习方法,基于视频数据进行自动技能评估,结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能,使得人工特征工程不再是必须的。
Mar, 2019