本文介绍了全面和多粒度的前列腺切除手术场景理解（GraSP）数据集，它将手术场景理解建模为具有不同粒度的互补任务的层次结构。我们的方法能够对手术活动进行多级理解，包括手术阶段和步骤识别等长期任务，以及手术器械分割和原子视觉动作检测等短期任务。为了利用我们提出的基准，我们引入了 Transformers for Actions、Phases、Steps 和 Instrument Segmentation（TAPIS）模型，这是一个将全局视频特征提取器与来自器械分割模型的局部区域提议相结合的通用架构，以应对我们基准的多粒度特性。通过广泛的实验，我们展示了在短期识别任务中包括分割注释的影响，突出了每个任务的不同粒度要求，并证明了 TAPIS 模型相对于以前提出的基线和传统的基于 CNN 的模型的优越性。此外，我们通过在多个公共基准上验证我们的方法的鲁棒性，确认了我们数据集的可靠性和适用性。这项工作在内窥镜视觉领域迈出了重要的一步，为将来研究提供了一个新颖且全面的框架，以实现对手术程序的全面理解。

Jan, 2024

本文提出了一种新的基于综合外科场景理解的实验框架，通过介绍 PSI-AVA 数据集和 TAPIR 模型，展示了这种框架和其他公共数据库上实验结果的优越性和多级注释的好处。

Dec, 2022

该研究描述了他们在 MICCAI 2017 内窥镜视觉子挑战赛中赢得的机器人工具分割选手冠军的解决方案，该解决方案通过使用几种新颖的深度神经网络架构获得了比现有技术更好的结果来解决机器人手术中的工具语义分割问题。

Mar, 2018

通过公共数据集来推动机器学习算法性能比较和改进已在计算机视觉等领域成为主流，而在机器人辅助手术方面，由于缺乏公共数据集和基准测试方法，这种方法的使用有限。2017 年，一项机器人仪器分割挑战赛涉及了 10 个团队，参与了基于二进制、部分和类型的分割，取得了令人瞩目的进展。

Feb, 2019

通过 EndoVis 工作坊提出的机器人仪器分割数据集，在模拟真实手术时应用于学习适用的技术，其中包括了最先进的 U-Net 和其他流行的 CNN 架构，并且逐步增加这个数据集的复杂性，包括针对器械，类型和解剖器官的分割。

Jan, 2020

在这项研究中，我们设计并评估了一个 CNN-RNN 架构以及一个定制的训练 - 推理框架，以应对腹腔镜手术行动识别中的挑战，包括动作持续时间变异、烟雾、血液积聚、快速相机运动、器官移动、物体阻挡等相关内容扭曲，以及不同照明和视角引起的手术场景变化。通过使用堆叠的循环层，我们的网络利用帧间依赖性来消除内容扭曲和动作识别中的变异的负面影响。此外，我们提出的帧采样策略有效地管理手术动作的持续时间变化，实现了高时间分辨率的动作识别。我们广泛的实验证实了我们的方法在动作识别方面相比静态 CNN 更为优越。

Nov, 2023

在自动机器人手术和计算机辅助干预领域中，理解机器人手术活动至关重要。为了解决真实世界中的开放场景挑战，我们引入了一种创新的开集手术活动识别（OSSAR）框架，通过使用超球面互补点策略增强特征空间中已知和未知类之间的差异，并通过改进模型校准来避免未知类被误分类为已知类。通过公开的 JIGSAWS 数据集以及我们自己收集的内窥镜黏膜下剥离的手术活动数据集，我们对我们的方法进行了广泛的对比和割离实验，结果表明我们的方法在现有最先进方法上取得了显著的提升。我们的方案可以有效处理真实世界手术场景的挑战。我们的代码可以在此 https URL 上公开访问。

Feb, 2024

手术机器人在手术室中产生了很大的潜力，但也带来了新的挑战，需要强大的团队协调和有效的手术室管理。本文提出了一种新的样本有效和基于对象的手术活动识别方法，着重利用手术室中临床医生和手术设备之间的几何排列以及对象间的交互动力学。通过在低数据条件下进行长视频活动识别的实验，并与其他基于对象的方法在剪辑级别的动作分类上进行测试，展现了出色的性能。

Dec, 2023

该研究旨在通过利用机器学习模型，使用手术器械的安装数据作为弱标签，实现对内窥镜视频中的手术器械进行跟踪和定位。SurgToolLoc 2022 挑战赛的结果表明，通过自动检测和跟踪手术器械，既可以提高手术效率和运营，又可以为机器学习和手术数据科学的更广泛应用提供支持。

May, 2023

该综述文章着重介绍了目前基于纯视觉的、不附加任何标记的单帧和带有时间信息的最小侵入性手术图像中手术工具分割和跟踪方法，重点关注深度学习方法和公开数据集的使用，讨论了存在的不足之处和未来发展的潜能。

Apr, 2023