用于腹腔镜视频中工具跟踪的弱监督卷积 LSTM 方法

Dec, 2018

用于腹腔镜视频中工具跟踪的弱监督卷积 LSTM 方法

Weakly Supervised Convolutional LSTM Approach for Tool Tracking in Laparoscopic Videos

Chinedu Innocent Nwoye, Didier Mutter, Jacques Marescaux, Nicolas Padoy

TL;DR本文介绍了一种仅使用二分类标记来训练内窥镜视频工具跟踪器的方法，这种方法利用了连续图像帧的时空一致性，基于 ConvLSTM 对工具的存在检测、空间定位和运动跟踪进行了改进。

Abstract

Purpose: Real-time surgical tool tracking is a core component of the future intelligent operating room (OR), because it is highly instrumental to analyze and understand the surgical activities. Current methods for surgical tool tracking in videos need to be trained on data in which the

surgical workflow analysis tool tracking weak supervision spatio-temporal coherence convlstm

发现论文，激发创造

基于区域卷积神经网络的手术视频工具检测和操作技能评估

该研究利用基于卷积神经网络的区域分析法跟踪和分析手术视频中的工具移动，从而自动评估外科医生的手术技能，在空间定位工具的同时，分析手术工具使用模式、运动范围和运动经济性等方面对手术质量进行评估。

Feb, 2018

微创手术视频中的弱半监督工具检测

通过应用共现损失并使用图像级别标签，以便快速且高效地检测手术工具，我们提出了一种在大规模图像数据集上实现手术工具检测的方法，并在 Endovis2018 数据集上的实验证明了其有效性。

Jan, 2024

基于 HMM 稳定化深度学习的高效手术工具识别

经过探索性数据分析，我们发现手术视频具有相对简单的语义结构，我们提出了一种基于隐马尔可夫模型（HMM）的深度学习方法，用于工具存在性检测，结果表明，与复杂模型结构的流行深度学习方法相比，我们的方法在性能、训练和运行成本以及数据利用方面都更优，智能地将深度学习和统计学相结合可能会导致更强大的算法，同时享有竞争性能、透明解释和便捷的模型训练方式。

Apr, 2024

面向视觉物体跟踪的空间监督循环卷积神经网络

本文提出了一种新的空间监督递归卷积神经网络，用于视觉对象跟踪，通过研究长短期记忆和区域信息的回归能力，结合卷积网络产生的高层视觉特征直接预测跟踪位置，相较于现有的深度学习跟踪器，我们的跟踪器在保持低计算成本的同时更加准确和鲁棒，实验结果表明在多个数据集上均表现优异，常常优于排名第二的跟踪器。

Jul, 2016

内镜视频中强韧手术工具识别技术及噪声数据处理

本文提出了一种系统的方法来开发针对手术工具检测的强大模型，使用智能主动学习策略和基于学生教师模型的自训练框架，训练数据加载器为了解决基于嘈杂数据的手术工具检测的类别不平衡问题。在实验中，我们的方法有效地演示了比现有方法更好的效果。

Jul, 2023

MICCAI 2022 SurgToolLoc 挑战赛的手术工具分类和定位结果和方法

该研究旨在通过利用机器学习模型，使用手术器械的安装数据作为弱标签，实现对内窥镜视频中的手术器械进行跟踪和定位。SurgToolLoc 2022 挑战赛的结果表明，通过自动检测和跟踪手术器械，既可以提高手术效率和运营，又可以为机器学习和手术数据科学的更广泛应用提供支持。

May, 2023

单眼腹腔镜视频剪辑中解剖和手术器械的三维跟踪的神经场

该研究提出了使用神经场方法进行腹腔镜视频追踪的技术，可以同时追踪手术工具和解剖结构，具有较高的追踪精度，并能生成与预训练深度估计器相媲美的伪深度图像，从而展示了使用神经场进行单目腹腔镜场景的 3D 重建的可行性。

Mar, 2024

SurgiTrack：手术视频中细粒度多类多工具跟踪

SurgiTrack 是一种利用 YOLOv7 进行精确工具检测的深度学习方法，通过关注机制模拟工具的起始方向并利用调和的二分匹配图处理不同的工具轨迹视角，提供更具适应性和精确性的微创手术辅助，此方法在 CholecTrack20 数据集上的实验证明了其有效性，优于基线模型和现有技术方法，并具备实时推理能力。

May, 2024

腹腔镜手术中多类多工具跟踪的数据集 CholecTrack20

通过引入 CholecTrack20 数据集，本文解决了在外科视频中进行工具跟踪的需求，该数据集是根据内窥镜手术的复杂性精心注释的，可跟踪多类多工具的三个不同视角的工具轨迹，包括内窥镜手术、人体内部手术和相机视野中的工具可见性，该详细数据集满足了手术过程中不断变化的辅助要求。

Dec, 2023

卷积张量列车长短时记忆网络用于时空学习

本文提出了一种高阶卷积 LSTM 模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

Feb, 2020