Nov, 2023

带有序列正则化的手术时间动作感知网络用于阶段识别

PDF
TL;DR我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。
发现论文，激发创造
  • 跨时空的朋友：多尺度行动分割变压器用于手术阶段识别

    现代手术室和在线手术视频评估平台中，自动手术阶段识别是一项核心技术。本文介绍了用于离线和在线手术阶段识别的多尺度动作分割变换器（MS-AST）和多尺度动作分割因果变换器（MS-ASCT），利用了空间和时间信息，在不同尺度上建模了时间信息，并成功达到了 95.26% 和 96.15% 的 Cholec80 数据集在线和离线手术阶段识别准确率，达到了最新研究成果的水平。此外，在视频动作分割领域的非医学数据集上，该方法也取得了最先进的结果。

    Jan, 2024

  • SurgPLAN：外科阶段定位网络用于阶段识别

    通过提出 SurgPLAN，一种基于时间检测原理的外科手术阶段定位网络，利用金字塔慢速 - 快速（PSF）架构和时间相位定位（TPL）模块，可以准确稳定地识别手术阶段，克服了现有方法不能捕获可区分的视觉特征和运动信息以及帧逐帧识别范式导致的不稳定预测的问题。

    Nov, 2023

  • ARST: 从腹腔镜视频中实现术前阶段识别的自回归手术变压器

    本文提出了一种名为 ARST 的自回归手术变压器，用于从腹腔镜视频中实时识别手术阶段。通过条件概率分布隐式地建模了阶段间相关性，并采用一致性约束推断策略以减少推断偏差和增强阶段一致性。在知名的公共数据集 Cholec80 上进行了综合验证，实验结果表明，我们的方法在定量和定性上都优于现有的最先进方法，并实现了每秒 66 帧的推断速率。

    Sep, 2022

  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018

  • 使用多阶段时间卷积网络识别手术阶段的 TeCNO 系统

    本文提出了一种多级时间卷积网络（MS-TCN），可以用于手术阶段识别，具有层次化预测细化和因果扩张卷积的特点。本文的方法经过多组数据集的评估，并在胆囊手术视频中得到成功应用。

    Mar, 2020

  • SF-TMN: 用于手术阶段识别的 SlowFast 时间建模网络

    提出了 SlowFast 时间建模网络（SF-TMN）用于自动手术阶段识别，并实现了帧级全视频时间建模以及片段级全视频时间建模。在 Cholec80 手术阶段识别任务中，SF-TMN 实现了最先进的性能表现；在 50salads、GTEA 和 Breakfast 行动分割数据集上，实现了最先进的性能表现。结果表明，通过时间细化阶段从帧级和片段级结合时间信息，有利于手术阶段的时间建模。

    Jun, 2023

  • 胸科手术视频分析与手术阶段识别

    该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

    Jun, 2024

  • 时空对齐网络用于动作识别

    通过引入视点不变特征表示，研究提高现有动作识别架构；提出了一种轻量级通用的空间 - 时间对齐网络（STAN）用于学习动作识别的几何不变表示；实验证明 STAN 模型在广泛使用的数据集上能够在从头开始训练的模式下持续改进动作识别任务的最先进模型。

    Aug, 2023

  • MR-STGN：使用注意力融合的多重残差时空图网络用于患者动作评估

    基于多残差时空图网络的自动化病人行动评估方法，在捕捉病人行动时空动态特征的同时，通过集成注意力融合机制，实现对病人运动的准确评估，超越现有方法，在实时病人行动评分方面表现出色。

    Dec, 2023

  • 用于胃旁路手术阶段和步骤联合识别的多任务时序卷积网络

    本研究提出了一个多任务多阶段时间卷积网络 (MTMS-TCN)，旨在联合识别手术活动的两个互补粒度 —— 阶段和步骤，从而提高手术活动识别的精确性和召回率。在 Bypass40 数据组上进行实验表明，MTMS-TCN 在相较于单一任务方法，无论在阶段识别还是步骤识别方面，准确度、精确度和召回率上均具有 1-2% 左右的提升，并且相较于 LSTM 模型，其在步骤识别方面具有更高的性能。

    Feb, 2021