Jul, 2023

TUNeS：一种具有自注意力的时间 U-Net 用于基于视频的手术阶段识别

PDF
TL;DR通过 TUNeS 模型，结合上下文感知的计算机辅助、注意力机制和时序建模，可以在未来手术室中实现自动识别医疗团队正在执行的手术阶段，并在考虑长期时序特征的情况下达到 Cholec80 数据集上的最佳结果。
发现论文，激发创造
  • 使用多阶段时间卷积网络识别手术阶段的 TeCNO 系统

    本文提出了一种多级时间卷积网络（MS-TCN），可以用于手术阶段识别，具有层次化预测细化和因果扩张卷积的特点。本文的方法经过多组数据集的评估，并在胆囊手术视频中得到成功应用。

    Mar, 2020

  • 医学超声视频识别中时间特征的相关性研究

    我们提出了一种新颖的多头注意力结构，将时间特征排除在外以实现在常见超声任务中更好的样本效率，结果表明，对于一些低数据量的常见超声任务，表达时间无关的模型可能比最先进的视频识别模型更有效。

    Oct, 2023

  • 带有序列正则化的手术时间动作感知网络用于阶段识别

    我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。

    Nov, 2023

  • 基于时空可变注意力的乳腺病变视频检测框架

    通过引入空间 - 时间变形注意力模块实现局部空间 - 时间特征融合，本研究提出的 STNet 在每个编码器和解码器阶段都能有效地进行深度特征聚合，同时引入编码器特征洗牌策略提高多帧预测的检测速度。实验结果显示，STNet 在公共乳腺病变超声视频数据集上达到最先进的检测性能，同时有两倍的推理速度。

    Sep, 2023

  • 用于胃旁路手术阶段和步骤联合识别的多任务时序卷积网络

    本研究提出了一个多任务多阶段时间卷积网络 (MTMS-TCN)，旨在联合识别手术活动的两个互补粒度 —— 阶段和步骤，从而提高手术活动识别的精确性和召回率。在 Bypass40 数据组上进行实验表明，MTMS-TCN 在相较于单一任务方法，无论在阶段识别还是步骤识别方面，准确度、精确度和召回率上均具有 1-2% 左右的提升，并且相较于 LSTM 模型，其在步骤识别方面具有更高的性能。

    Feb, 2021

  • U-Net Transformer：医学图像分割的自注意力和交叉注意力模型

    引入了 U-Transformer 网络，结合了用于图像分割的 U 形模型和 Transformer 的自注意和交叉注意力机制，有效地克服了 U-Net 难以对长程上下文交互和空间依赖性建模的问题，在两个腹部 CT 图像数据集上表现出明显的优势。

    Mar, 2021

  • 用于卫星图像时间序列分类的轻量级时间自注意力

    该研究使用多头自注意机制并修改时间注意编码器，以有效处理全球规模的卫星图像时间序列分类，提高时间序列分类的准确性和效率。在开放访问的卫星图像数据集中，使用更少的参数和降低计算复杂度，该方法优于其他现有的时间序列分类算法。

    Jul, 2020

  • 医学图像分割的多尺度自引导注意力

    采用引导自我关注机制的卷积神经网络模型对医学图像进行语义分割，能够更好地捕捉图像中的上下文依赖关系，去除冗余的信息提取并集成本地特征和全局依赖，强调相关特征关联，从而取得更好的分割效果。

    Jun, 2019

  • 具有注意力机制 LSTM 的时间感知 SSD

    本论文提出了一种基于注意机制和卷积长短时记忆（ConvLSTM）的时序单次检测器（TSSD），以实现视频中的实时在线目标检测。采用 ConvLSTM 来集成时间金字塔特征层次，并使用一个低级时序单元和一个高级单元来设计新颖的结构（LH-TU）进行多尺度特征图。关注 ConvLSTM（AC-LSTM）的创新时间分析单元被设计为时间上的背景抑制和尺度抑制，并跨时间集成具有关注注意力的特征。此外，针对时间一致性设计了联合损失和多步训练。最后，利用在线管道分析（OTA）进行识别。评估结果证明，该方法在检测和跟踪性能方面具有优势。

    Mar, 2018

  • SF-TMN: 用于手术阶段识别的 SlowFast 时间建模网络

    提出了 SlowFast 时间建模网络（SF-TMN）用于自动手术阶段识别，并实现了帧级全视频时间建模以及片段级全视频时间建模。在 Cholec80 手术阶段识别任务中，SF-TMN 实现了最先进的性能表现；在 50salads、GTEA 和 Breakfast 行动分割数据集上，实现了最先进的性能表现。结果表明，通过时间细化阶段从帧级和片段级结合时间信息，有利于手术阶段的时间建模。

    Jun, 2023