Feb, 2021

用于胃旁路手术阶段和步骤联合识别的多任务时序卷积网络

PDF
TL;DR本研究提出了一个多任务多阶段时间卷积网络 (MTMS-TCN)，旨在联合识别手术活动的两个互补粒度 —— 阶段和步骤，从而提高手术活动识别的精确性和召回率。在 Bypass40 数据组上进行实验表明，MTMS-TCN 在相较于单一任务方法，无论在阶段识别还是步骤识别方面，准确度、精确度和召回率上均具有 1-2% 左右的提升，并且相较于 LSTM 模型，其在步骤识别方面具有更高的性能。
surgical activitylaparoscopic gastric bypassmulti-task multi-stage temporal convolutional networkphase recognitionstep recognition
发现论文，激发创造
  • 使用多阶段时间卷积网络识别手术阶段的 TeCNO 系统

    本文提出了一种多级时间卷积网络（MS-TCN），可以用于手术阶段识别，具有层次化预测细化和因果扩张卷积的特点。本文的方法经过多组数据集的评估，并在胆囊手术视频中得到成功应用。

    Mar, 2020

  • MS-TCN：多阶段时间卷积网络用于动作分割

    本研究提出了一种多阶段架构方法来解决视频动作分段问题，使用扩张卷积神经网络来生成初始预测并利用平滑损失进行训练，模型在多个数据集上实现了最新的研究成果。

    Mar, 2019

  • MS-TCN++：基于多阶段时间卷积网络的动作分割

    本文提出了一种多阶段架构的深度学习模型，通过利用扩张时间卷积和双重扩张时间卷积层，实现了在长时间的未修剪视频中对动作进行准确的时序分割，并在三个数据集上取得了最先进的结果。

    Jun, 2020

  • 跨时空的朋友：多尺度行动分割变压器用于手术阶段识别

    现代手术室和在线手术视频评估平台中，自动手术阶段识别是一项核心技术。本文介绍了用于离线和在线手术阶段识别的多尺度动作分割变换器（MS-AST）和多尺度动作分割因果变换器（MS-ASCT），利用了空间和时间信息，在不同尺度上建模了时间信息，并成功达到了 95.26% 和 96.15% 的 Cholec80 数据集在线和离线手术阶段识别准确率，达到了最新研究成果的水平。此外，在视频动作分割领域的非医学数据集上，该方法也取得了最先进的结果。

    Jan, 2024

  • 带有序列正则化的手术时间动作感知网络用于阶段识别

    我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。

    Nov, 2023

  • 多中心泛化中的挑战：Roux-en-Y 胃旁路手术中的阶段和步骤识别

    通过评估多中心多活动数据集在七个实验研究中的表现，该论文展示了使用人工智能模型进行手术活动识别的一种方法，强调使用多中心数据集来提高模型的泛化能力。

    Dec, 2023

  • SF-TMN: 用于手术阶段识别的 SlowFast 时间建模网络

    提出了 SlowFast 时间建模网络（SF-TMN）用于自动手术阶段识别，并实现了帧级全视频时间建模以及片段级全视频时间建模。在 Cholec80 手术阶段识别任务中，SF-TMN 实现了最先进的性能表现；在 50salads、GTEA 和 Breakfast 行动分割数据集上，实现了最先进的性能表现。结果表明，通过时间细化阶段从帧级和片段级结合时间信息，有利于手术阶段的时间建模。

    Jun, 2023

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • 基于多尺度空间时间图卷积网络的基于骨架的动作识别

    本研究提出了一种多尺度空间图卷积和多尺度时间图卷积模型，通过分解相应的局部图卷积为一系列子图卷积，形成一个分层残差体系结构，使图卷积神经网络能够捕获空间和时间域中的短程和长程依赖关系，从而实现骨骼动作识别，该模型在三个基准数据集上表现出了显著的性能。

    Jun, 2022

  • EndoNet: 深度网络结构用于腹腔镜视频识别任务

    本研究提出了一种新的方法，使用卷积神经网络从胆囊切除术视频中自动学习特征，以完成手术阶段识别和工具存在检测等多任务学习，该方法取得了最好的效果。

    Feb, 2016