Dec, 2023

ST (OR) 2：手术室活动识别的时空对象级推理

PDF
TL;DR手术机器人在手术室中产生了很大的潜力，但也带来了新的挑战，需要强大的团队协调和有效的手术室管理。本文提出了一种新的样本有效和基于对象的手术活动识别方法，着重利用手术室中临床医生和手术设备之间的几何排列以及对象间的交互动力学。通过在低数据条件下进行长视频活动识别的实验，并与其他基于对象的方法在剪辑级别的动作分类上进行测试，展现了出色的性能。
发现论文，激发创造
  • 面向机器人辅助手术的开放式外科活动识别

    在自动机器人手术和计算机辅助干预领域中，理解机器人手术活动至关重要。为了解决真实世界中的开放场景挑战，我们引入了一种创新的开集手术活动识别（OSSAR）框架，通过使用超球面互补点策略增强特征空间中已知和未知类之间的差异，并通过改进模型校准来避免未知类被误分类为已知类。通过公开的 JIGSAWS 数据集以及我们自己收集的内窥镜黏膜下剥离的手术活动数据集，我们对我们的方法进行了广泛的对比和割离实验，结果表明我们的方法在现有最先进方法上取得了显著的提升。我们的方案可以有效处理真实世界手术场景的挑战。我们的代码可以在此 https URL 上公开访问。

    Feb, 2024

  • 视频中的对象级视觉推理

    本文讨论了利用深度学习模型进行人类活动识别研究中的挑战，并提出了一种基于对象感知网络的模型，以实现对视频中的语义意义的时空交互的推理，从而在三个不同的数据集上取得了最先进的结果。

    Jun, 2018

  • 腔镜手术视频中的动作识别

    在这项研究中，我们设计并评估了一个 CNN-RNN 架构以及一个定制的训练 - 推理框架，以应对腹腔镜手术行动识别中的挑战，包括动作持续时间变异、烟雾、血液积聚、快速相机运动、器官移动、物体阻挡等相关内容扭曲，以及不同照明和视角引起的手术场景变化。通过使用堆叠的循环层，我们的网络利用帧间依赖性来消除内容扭曲和动作识别中的变异的负面影响。此外，我们提出的帧采样策略有效地管理手术动作的持续时间变化，实现了高时间分辨率的动作识别。我们广泛的实验证实了我们的方法在动作识别方面相比静态 CNN 更为优越。

    Nov, 2023

  • SAR-RARP50：机器人辅助根治性前列腺切除术手术器械分割和动作识别挑战

    发布了第一个多模态、公开可用的体内手术行为识别和语义仪器分割数据集，旨在通过利用提供的数据集的规模来开发在手术领域中稳健且高准确度的单任务行为识别和仪器分割方法，并进一步探索多任务学习方法的潜力及其相对优势。

    Dec, 2023

  • 基于人类手动演示视频的自动交互和活动识别技术及其在异常检测中的应用

    本文提出一种基于场景图，利用图像序列提取关键交互特征并编码动作模式和上下文的方法，同时引入基于事件的自动视频分割和聚类，成功地实现了识别手 - 物体和物体 - 物体交互，并匹配不同受试者执行的同一活动。

    Apr, 2023

  • 手术室场景图生成的时间动态三模态融合

    通过使用 TriTemp-OR 框架，整合图像、点云和语言三种模态，结合时间动态，并借助大规模语言模型，实现对手术场景的综合理解，以预测关系并生成场景图。

    Apr, 2024

  • 胸科手术视频分析与手术阶段识别

    该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

    Jun, 2024

  • 基于区域卷积神经网络的手术视频工具检测和操作技能评估

    该研究利用基于卷积神经网络的区域分析法跟踪和分析手术视频中的工具移动，从而自动评估外科医生的手术技能，在空间定位工具的同时，分析手术工具使用模式、运动范围和运动经济性等方面对手术质量进行评估。

    Feb, 2018

  • 基于逻辑编程的活动识别方法

    使用事件演算法识别基于视频内容的短期活动，进而推断长期预定义活动的系统及其详细评估结果。

    May, 2009

  • 使用 3D 卷积神经网络进行基于视频的外科技能评估

    本研究使用深度学习方法，基于视频数据进行自动技能评估，结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能，使得人工特征工程不再是必须的。

    Mar, 2019