利用强化学习检索手术阶段转换
该研究论文介绍了一种利用视频数据进行手术阶段识别的方法,旨在为自动化工作流分析提供手术程序的全面理解。研究表明,在手术阶段识别任务中,视频基分类器相比于基于图片的分类器具有更高的效果。
Jun, 2024
通过图像分割和自监督学习,我们提出了一种基于随机游走的算法来实现逐帧术期预测,并利用稀疏时间戳或少样本学习的形式进行弱监督。在使用公共的腹腔镜胆囊切除术视频数据集进行实验验证时,我们的方法表现出了低复杂度和在小数据情况下的良好性能。
Oct, 2023
手术阶段识别是计算机辅助手术中的一个关键任务,本研究提出了一种能够有效处理缺失阶段标注并减少标注成本的手术阶段识别方法,该方法在两个具有挑战性的数据集上取得了竞争性结果,为手术工作流程识别的进展做出了贡献。
Jun, 2024
本文提出了一种名为 ARST 的自回归手术变压器,用于从腹腔镜视频中实时识别手术阶段。通过条件概率分布隐式地建模了阶段间相关性,并采用一致性约束推断策略以减少推断偏差和增强阶段一致性。在知名的公共数据集 Cholec80 上进行了综合验证,实验结果表明,我们的方法在定量和定性上都优于现有的最先进方法,并实现了每秒 66 帧的推断速率。
Sep, 2022
本文介绍了一种称为长视频变压器(LoViT)的两阶段方法,用于融合短期和长期时间信息的融合,可以比当前的方法更好地处理手术过程中的长视频,并通过将本地和全局特征结合起来使用多尺度时间聚合器对手术相位进行分类。研究发现,与现有的方法相比,LoViT 在两个手术视频数据集上的表现最优
May, 2023
我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块(MS-STA)和双分类器序列正则化(DSR),我们的方法可以有效利用手术行动的视觉特征,并在手术阶段识别方面取得卓越性能。
Nov, 2023
我们介绍了一种用于腹腔镜妇科手术视频中相关事件识别的全面数据集,并通过使用几种 CNN-RNN 架构评估事件识别性能。此外,我们介绍并评估了一个混合变压器架构,结合自定义的训练 - 推理框架,用于识别腹腔镜手术视频中的四个特定事件。借助 Transformer 网络,我们的提出的架构利用帧间依赖性来对抗相关内容遮挡,运动模糊和手术场景变化的不良影响,从而显著提高事件识别准确性。此外,我们提出了一种用于处理手术场景和外科医生技能水平变化的帧采样策略,以实现高时间分辨率的事件识别。通过一系列广泛的实验证明了我们所提出的方法在事件识别方面相比传统的 CNN-RNN 架构的卓越性能。
Dec, 2023
本文提出了一种多级时间卷积网络(MS-TCN),可以用于手术阶段识别,具有层次化预测细化和因果扩张卷积的特点。本文的方法经过多组数据集的评估,并在胆囊手术视频中得到成功应用。
Mar, 2020