Jun, 2023

SF-TMN: 用于手术阶段识别的 SlowFast 时间建模网络

PDF
TL;DR提出了 SlowFast 时间建模网络（SF-TMN）用于自动手术阶段识别，并实现了帧级全视频时间建模以及片段级全视频时间建模。在 Cholec80 手术阶段识别任务中，SF-TMN 实现了最先进的性能表现；在 50salads、GTEA 和 Breakfast 行动分割数据集上，实现了最先进的性能表现。结果表明，通过时间细化阶段从帧级和片段级结合时间信息，有利于手术阶段的时间建模。
automatic surgical phase recognitionslowfast temporal modeling networktemporal modeling networkscholec80 surgical phase recognition taskaction segmentation datasets
发现论文，激发创造
  • 使用多阶段时间卷积网络识别手术阶段的 TeCNO 系统

    本文提出了一种多级时间卷积网络（MS-TCN），可以用于手术阶段识别，具有层次化预测细化和因果扩张卷积的特点。本文的方法经过多组数据集的评估，并在胆囊手术视频中得到成功应用。

    Mar, 2020

  • SurgPLAN：外科阶段定位网络用于阶段识别

    通过提出 SurgPLAN，一种基于时间检测原理的外科手术阶段定位网络，利用金字塔慢速 - 快速（PSF）架构和时间相位定位（TPL）模块，可以准确稳定地识别手术阶段，克服了现有方法不能捕获可区分的视觉特征和运动信息以及帧逐帧识别范式导致的不稳定预测的问题。

    Nov, 2023

  • 带有序列正则化的手术时间动作感知网络用于阶段识别

    我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。

    Nov, 2023

  • 跨时空的朋友：多尺度行动分割变压器用于手术阶段识别

    现代手术室和在线手术视频评估平台中，自动手术阶段识别是一项核心技术。本文介绍了用于离线和在线手术阶段识别的多尺度动作分割变换器（MS-AST）和多尺度动作分割因果变换器（MS-ASCT），利用了空间和时间信息，在不同尺度上建模了时间信息，并成功达到了 95.26% 和 96.15% 的 Cholec80 数据集在线和离线手术阶段识别准确率，达到了最新研究成果的水平。此外，在视频动作分割领域的非医学数据集上，该方法也取得了最先进的结果。

    Jan, 2024

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017

  • 用于胃旁路手术阶段和步骤联合识别的多任务时序卷积网络

    本研究提出了一个多任务多阶段时间卷积网络 (MTMS-TCN)，旨在联合识别手术活动的两个互补粒度 —— 阶段和步骤，从而提高手术活动识别的精确性和召回率。在 Bypass40 数据组上进行实验表明，MTMS-TCN 在相较于单一任务方法，无论在阶段识别还是步骤识别方面，准确度、精确度和召回率上均具有 1-2% 左右的提升，并且相较于 LSTM 模型，其在步骤识别方面具有更高的性能。

    Feb, 2021

  • 胸科手术视频分析与手术阶段识别

    该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

    Jun, 2024

  • TUNeS：一种具有自注意力的时间 U-Net 用于基于视频的手术阶段识别

    通过 TUNeS 模型，结合上下文感知的计算机辅助、注意力机制和时序建模，可以在未来手术室中实现自动识别医疗团队正在执行的手术阶段，并在考虑长期时序特征的情况下达到 Cholec80 数据集上的最佳结果。

    Jul, 2023

  • SlowFast 网络用于连续手语识别

    本研究旨在通过双通道 SlowFast 网络以及特殊的特征融合方法，有效提取连续手语识别中的时空特征，并在多个数据集上展示了该模型在空间和动态表示方面的优势。

    Sep, 2023

  • 时序段网络：深度动作识别的良好实践

    本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

    Aug, 2016