Feb, 2024

超图 - 变换器（HGT）用于腹腔镜和机器人手术中的交互式事件预测

PDF
TL;DR为了辅助和决策微创手术中的术中事件和行动，理解并预测术中事件和行动的机器自动化预测方法是关键。我们提出了一个预测性神经网络，能够从腹腔镜视频中理解和预测外科手术过程的关键交互方面，并灵活利用外科知识图谱。该方法采用了一个超图转换器结构来将专家知识编码到网络设计中，并预测图的隐藏嵌入。我们在已有的外科数据集和应用中验证了我们的方法，包括动作三元组的检测和预测，以及安全关键视野的实现。此外，我们还解决了特定的与安全相关的任务，如在实现安全关键视野之前预测囊管或动脉的夹闭操作。我们的结果表明，相比于非结构化的替代方法，我们的方法具有优势。
intraoperative eventsminimally invasive surgerypredictive neural networksurgical workflowsafety-related tasks
发现论文，激发创造
  • 混合变压器在腹腔镜妇科视频中的事件识别

    我们介绍了一种用于腹腔镜妇科手术视频中相关事件识别的全面数据集，并通过使用几种 CNN-RNN 架构评估事件识别性能。此外，我们介绍并评估了一个混合变压器架构，结合自定义的训练 - 推理框架，用于识别腹腔镜手术视频中的四个特定事件。借助 Transformer 网络，我们的提出的架构利用帧间依赖性来对抗相关内容遮挡，运动模糊和手术场景变化的不良影响，从而显著提高事件识别准确性。此外，我们提出了一种用于处理手术场景和外科医生技能水平变化的帧采样策略，以实现高时间分辨率的事件识别。通过一系列广泛的实验证明了我们所提出的方法在事件识别方面相比传统的 CNN-RNN 架构的卓越性能。

    Dec, 2023

  • 机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

    本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

    Dec, 2022

  • 超图变换器用于半监督分类

    通过全球节点和超边之间的全球关联以及捕捉节点和超边之间的局部连接性，提出了一种新颖的超图学习框架，称为 HyperGraph Transformer（HyperGT），该框架利用基于 Transformer 的神经网络结构来有效地处理超图结构化数据，实现了全面的超图表示学习，并在超图节点分类任务中取得了出色的性能，超过了现有方法，建立了新的基准水平。

    Dec, 2023

  • 通过场景图学习捕捉动态交互关系，用于机器人手术报告生成

    本研究提出了一种神经网络方法，通过明确探索组织和手术器械之间的互动关系来提高手术报告的生成，实验结果表明我们的方法可以显著优于现有最先进的手术报告生成方法。

    Jun, 2023

  • 基于事件的视觉技术早期预测操纵动作

    该研究介绍了一种基于事件的数据集，用于细粒度操作动作的预测，使用的模型是基于事件进行在线推理的 Transformer 网络，该模型成功地预测了动作，并通过时间逐渐增加信心，达到了最先进的分类效果，并且优于基于视频的方法，适用于具有非常微妙差异的场景。同时，该研究还发布了第一个用于操作动作识别的事件数据集。

    Jul, 2023

  • 跨模态临床图形变换器用于眼科报告生成

    该论文提出了一种用于眼科报告生成的交叉模态临床图变换器（CGT）模型，该模型利用数据驱动的神经网络和临床关系三元组注入到视觉特征中，以提高模型的效果并克服基于通用生物医学知识库的知识注入的局限性。通过自然语言处理，该模型从领域内训练报告中提取临床实体和关系数据，并在编码过程中仅限制可见矩阵的影响，实现了优于之前基准模型的最佳表现。

    Jun, 2022

  • 扩散模型的交互式生成腹腔镜视频

    通过使用扩散模型结合零样本视频扩散方法，通过文本指定手术动作并通过分割掩模指导生成真实的腹腔镜图像和视频，本研究在提高培训过程中迈出了重要一步，评估了生成的图像的保真度和事实正确性，获得了 FID 指标为 38.097 和 F1-score 指标为 0.71。

    Apr, 2024

  • 像素级别识别用于整体手术场景理解

    本文介绍了全面和多粒度的前列腺切除手术场景理解（GraSP）数据集，它将手术场景理解建模为具有不同粒度的互补任务的层次结构。我们的方法能够对手术活动进行多级理解，包括手术阶段和步骤识别等长期任务，以及手术器械分割和原子视觉动作检测等短期任务。为了利用我们提出的基准，我们引入了 Transformers for Actions、Phases、Steps 和 Instrument Segmentation（TAPIS）模型，这是一个将全局视频特征提取器与来自器械分割模型的局部区域提议相结合的通用架构，以应对我们基准的多粒度特性。通过广泛的实验，我们展示了在短期识别任务中包括分割注释的影响，突出了每个任务的不同粒度要求，并证明了 TAPIS 模型相对于以前提出的基线和传统的基于 CNN 的模型的优越性。此外，我们通过在多个公共基准上验证我们的方法的鲁棒性，确认了我们数据集的可靠性和适用性。这项工作在内窥镜视觉领域迈出了重要的一步，为将来研究提供了一个新颖且全面的框架，以实现对手术程序的全面理解。

    Jan, 2024

  • 利用动态图转换器预测研究社区中的技术专长和能力演变

    利用动态异构图表示，我们扩展了传统的统计关系学习方法，预测技术专长和能力演进的问题，并实现了一种新颖的动态图转换器神经架构，该模型在人工智能领域的合作、伙伴关系和专家模式的预测中的性能超过了静态图基准模型，为研究人员提供了准确的合作预测。

    Jul, 2023

  • HGT: 使用 CT 图像和文本进行多模态假体周围关节感染诊断的分层 GCN 基础 Transformer

    本研究提出了一种基于深度学习和多模态技术的诊断方法 HGT，通过单向选择性注意机制和基于图卷积网络（GCN）的特征融合网络，有效地将 CT 扫描图像和患者的数字文本数据特征融合。经过消融实验和可解释性评估，该方法在自定义的多模态 PJI 数据集上取得了 91.4％ 的准确率和 95.9％ 的曲线下面积（AUC），在 ACC 和 AUC 上分别优于最近的多模态方法，并仅使用了 68M 的参数计数。该方法可以为临床医生提供额外的诊断工具，以提高诊断精度和效率。

    May, 2023