混合变压器在腹腔镜妇科视频中的事件识别

Dec, 2023

混合变压器在腹腔镜妇科视频中的事件识别

Event Recognition in Laparoscopic Gynecology Videos with Hybrid Transformers

Sahar Nasirihaghighi, Negin Ghamsarian, Heinrich Husslein, Klaus Schoeffmann

TL;DR我们介绍了一种用于腹腔镜妇科手术视频中相关事件识别的全面数据集，并通过使用几种 CNN-RNN 架构评估事件识别性能。此外，我们介绍并评估了一个混合变压器架构，结合自定义的训练 - 推理框架，用于识别腹腔镜手术视频中的四个特定事件。借助 Transformer 网络，我们的提出的架构利用帧间依赖性来对抗相关内容遮挡，运动模糊和手术场景变化的不良影响，从而显著提高事件识别准确性。此外，我们提出了一种用于处理手术场景和外科医生技能水平变化的帧采样策略，以实现高时间分辨率的事件识别。通过一系列广泛的实验证明了我们所提出的方法在事件识别方面相比传统的 CNN-RNN 架构的卓越性能。

Abstract

Analyzing laparoscopic surgery videos presents a complex and multifaceted challenge, with applications including surgical training, intra-operative surgical complication prediction, and post-operative surgical assessment. Identifying crucial events within these videos is a significant

laparoscopic surgery videos event recognition cnn-rnn architectures hybrid transformer architecture frame sampling strategy

发现论文，激发创造

腔镜手术视频中的动作识别

在这项研究中，我们设计并评估了一个 CNN-RNN 架构以及一个定制的训练 - 推理框架，以应对腹腔镜手术行动识别中的挑战，包括动作持续时间变异、烟雾、血液积聚、快速相机运动、器官移动、物体阻挡等相关内容扭曲，以及不同照明和视角引起的手术场景变化。通过使用堆叠的循环层，我们的网络利用帧间依赖性来消除内容扭曲和动作识别中的变异的负面影响。此外，我们提出的帧采样策略有效地管理手术动作的持续时间变化，实现了高时间分辨率的动作识别。我们广泛的实验证实了我们的方法在动作识别方面相比静态 CNN 更为优越。

Nov, 2023

超图 - 变换器（HGT）用于腹腔镜和机器人手术中的交互式事件预测

为了辅助和决策微创手术中的术中事件和行动，理解并预测术中事件和行动的机器自动化预测方法是关键。我们提出了一个预测性神经网络，能够从腹腔镜视频中理解和预测外科手术过程的关键交互方面，并灵活利用外科知识图谱。该方法采用了一个超图转换器结构来将专家知识编码到网络设计中，并预测图的隐藏嵌入。我们在已有的外科数据集和应用中验证了我们的方法，包括动作三元组的检测和预测，以及安全关键视野的实现。此外，我们还解决了特定的与安全相关的任务，如在实现安全关键视野之前预测囊管或动脉的夹闭操作。我们的结果表明，相比于非结构化的替代方法，我们的方法具有优势。

Feb, 2024

EndoNet: 深度网络结构用于腹腔镜视频识别任务

本研究提出了一种新的方法，使用卷积神经网络从胆囊切除术视频中自动学习特征，以完成手术阶段识别和工具存在检测等多任务学习，该方法取得了最好的效果。

Feb, 2016

基于 Transformer 的深度腹腔镜立体匹配

本文提出了一种新的混合深度立体匹配框架（HybridStereoNet），使用 Transformer 实现特征表示学习，并结合 CNN 用于代价汇聚，旨在提高立体视觉匹配精度和泛化能力。实验结果表明，与其他选项相比，本文方法收敛更快，准确率更高，能够在 Sceneflow，SCARED2019 和 dVPN 数据集上实现卓越的性能。

Jul, 2022

机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

Dec, 2022

利用强化学习检索手术阶段转换

该研究介绍了一种基于强化学习的离线手术阶段转换检测模型，相较于传统基于分类的方法，该模型能够更准确地探测手术过程中的连续阶段块，且在处理视频过程中可以节省时间和计算量，适用于腔镜手术等现代微创手术的研究应用。

Aug, 2022

基于学习瓶颈变换器的事件图像体素特征融合分类

该研究提出了一个新颖的双流框架，用于事件表示、提取和融合，通过利用 Transformer 和结构化图神经网络（GNN）架构，分别可以学习空间信息和三维立体信息，并引入瓶颈 Transformer 以促进双流信息的融合，通过广泛实验证明了该框架在两个广泛使用的事件分类数据集上取得了最先进的性能。

Aug, 2023

普通外科视觉变换器：用于普通外科的视频预训练基础模型

通过开源最大的外科手术视频数据集，提出了视觉预训练技术和 GSViT 算法，向外科手术应用提供实时的视频处理和改进性能。

Mar, 2024

胸科手术视频分析与手术阶段识别

该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

Jun, 2024

基于事件的视觉技术早期预测操纵动作

该研究介绍了一种基于事件的数据集，用于细粒度操作动作的预测，使用的模型是基于事件进行在线推理的 Transformer 网络，该模型成功地预测了动作，并通过时间逐渐增加信心，达到了最先进的分类效果，并且优于基于视频的方法，适用于具有非常微妙差异的场景。同时，该研究还发布了第一个用于操作动作识别的事件数据集。

Jul, 2023