单眼腹腔镜视频剪辑中解剖和手术器械的三维跟踪的神经场

Mar, 2024

单眼腹腔镜视频剪辑中解剖和手术器械的三维跟踪的神经场

Neural Fields for 3D Tracking of Anatomy and Surgical Instruments in Monocular Laparoscopic Video Clips

Beerend G.A. Gerats, Jelmer M. Wolterink, Seb P. Mol, Ivo A.M.J. Broeders

TL;DR该研究提出了使用神经场方法进行腹腔镜视频追踪的技术，可以同时追踪手术工具和解剖结构，具有较高的追踪精度，并能生成与预训练深度估计器相媲美的伪深度图像，从而展示了使用神经场进行单目腹腔镜场景的 3D 重建的可行性。

Abstract

laparoscopic video tracking primarily focuses on two target types: surgical instruments and anatomy. The former could be used for skill assessment, while the latter is necessary for the projection of virtual overlays. Where instrument and anatomy tracking have often been considered two

laparoscopic video tracking joint tracking neural field tracking accuracy depth maps

发现论文，激发创造

腹腔镜手术中多类多工具跟踪的数据集 CholecTrack20

通过引入 CholecTrack20 数据集，本文解决了在外科视频中进行工具跟踪的需求，该数据集是根据内窥镜手术的复杂性精心注释的，可跟踪多类多工具的三个不同视角的工具轨迹，包括内窥镜手术、人体内部手术和相机视野中的工具可见性，该详细数据集满足了手术过程中不断变化的辅助要求。

Dec, 2023

微创手术中仪器分割和跟踪方法的比较评估

本文介绍了一项比较研究，探讨了在机器人以及传统腹腔镜手术中，基于视觉的不同方法用于器械分割和追踪的效果。研究表明，现代的深度学习方法在器械分割任务中表现优异，但结果还不完美。此外，合并不同方法的结果实际上显著提高了准确性。与此同时，器械追踪任务的结果表明，在传统腹腔镜手术中这仍然是一个待解决的挑战。

May, 2018

手术器械跟踪的并发分割和定位

利用深度学习，将 2D 的手术工具姿态估计重构为热力图回归，与分割同时进行。实验证明，该方法可以显著提高性能，超越现有技术在 Retinal Microsurgery 和 MICCAI EndoVis Challenge 2015 的表现。

Mar, 2017

可视化插件：用于从微创手术视频中跟踪三维工具

提出了一种基于 2D 分割的仪器追踪方法，通过几何变化和运动算法，实现对手术视频中仪器的标记和跟踪，验证了该方法在仪器追踪和微创手术实践中的应用潜力。

Jan, 2024

使用 3D 卷积神经网络进行基于视频的外科技能评估

本研究使用深度学习方法，基于视频数据进行自动技能评估，结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能，使得人工特征工程不再是必须的。

Mar, 2019

基于视觉的神经外科导航：无监督定位和相机姿态预测

基于解剖识别的深度学习方法，通过无监督学习从手术视频中构建手术路径，从而解决内窥镜手术中由于缺乏可区分的纹理和地标以及内窥镜设备的局限性（如有限的视野和光照条件）所带来的定位问题。

May, 2024

SurgiTrack：手术视频中细粒度多类多工具跟踪

SurgiTrack 是一种利用 YOLOv7 进行精确工具检测的深度学习方法，通过关注机制模拟工具的起始方向并利用调和的二分匹配图处理不同的工具轨迹视角，提供更具适应性和精确性的微创手术辅助，此方法在 CholecTrack20 数据集上的实验证明了其有效性，优于基线模型和现有技术方法，并具备实时推理能力。

May, 2024

基于 NeRFs 的腹腔三维场景渲染的研究

提供一个关键的可视，两个维度的视图，突破 0-D 静态场景，为了生成新的观察。

Oct, 2023

下一代手术导航：手术器械多视图无标记 6 自由度姿态估计

提出了一种高保真度的非标记光学跟踪系统，用于手术器械的本地化，采用多视角相机布置，利用深度学习方法和数据融合技术，对不同输入模型和相机位置进行评估和比较，并且取得了比文献中相关方法更好的平均误差结果，从而展示了手术器械无标记跟踪已经成为了现实。

May, 2023

MICCAI 2022 SurgToolLoc 挑战赛的手术工具分类和定位结果和方法

该研究旨在通过利用机器学习模型，使用手术器械的安装数据作为弱标签，实现对内窥镜视频中的手术器械进行跟踪和定位。SurgToolLoc 2022 挑战赛的结果表明，通过自动检测和跟踪手术器械，既可以提高手术效率和运营，又可以为机器学习和手术数据科学的更广泛应用提供支持。

May, 2023