通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

Sep, 2023

通过使用场景图知识解决目前手术 VQA 系统中的问题条件偏见和融入场景感知推理两个挑战，我们提出了一种基于手术场景图的数据集 SSG-QA 和一种新颖的手术 VQA 模型 SSG-QA-Net，展示了通过将几何场景特征融入 VQA 模型设计中能够显著提高结果。

Dec, 2023

通过深度学习框架从机器人运动数据映射到单个技能级别，提出了一种无需特征工程或精心调整手势细分，即可成功解码技能信息的模型，并能在 1-3 秒窗口内可靠地解释技能，突出了深度架构在现代外科培训中高效在线技能评估的潜力。

Jun, 2018

该论文研究了图神经网络如何增强视觉场景理解和手术技能评估，通过使用图神经网络分析以图形结构表示的手术过程的复杂视觉数据，可以提取相关特征并预测手术技能。此外，图神经网络提供可解释的结果，揭示了对预测技能指标有贡献的具体行动、仪器或解剖结构，这对于手术教育者和学员非常有益，因为它提供了成功手术表现和结果的重要见解。SurGNN 提出了两种并行的方法 - 一种是有监督的，另一种是自监督的。文中还简要讨论了其他自动化手术技能评估技术，并强调手工设计特征在捕捉手术专长的细微差别方面的局限性。我们使用所提出的方法在 EndoVis19 和自定义数据集上达到了最先进的结果。代码的工作实现可以在此 https URL 找到。

Aug, 2023

本文介绍了使用预构建图嵌入模块（图卷积神经网络建模）来辅助放射图像报告生成的方法，该方法可以对多种疾病发现进行专门的特征学习并建立它们之间的关系，同时提出了用于医学图像报告的新的评估指标，并在公开数据集（IU-RR）上展示了该方法的优异性能。

Feb, 2020

该研究论文探索了一项新的任务：引用外科手术视频仪器分割（RSVIS），旨在根据给定的语言表达自动识别和分割相应的外科手术器械。通过设计了一种新颖的视频 - 仪器协同网络（VIS-Net）和基于图的关系感知模块（GRM），该方法在两个 RSVIS 数据集上验证，实验结果表明 VIS-Net 可以显著优于现有的最先进的引用分割方法。

Aug, 2023

通过改进的仿真环境为外科机器人提供了大规模、多样化的 6D 姿态估计数据集，证明了所提系统在培训和评估外科机器人视觉算法方面的成功。

Jun, 2024

为了辅助和决策微创手术中的术中事件和行动，理解并预测术中事件和行动的机器自动化预测方法是关键。我们提出了一个预测性神经网络，能够从腹腔镜视频中理解和预测外科手术过程的关键交互方面，并灵活利用外科知识图谱。该方法采用了一个超图转换器结构来将专家知识编码到网络设计中，并预测图的隐藏嵌入。我们在已有的外科数据集和应用中验证了我们的方法，包括动作三元组的检测和预测，以及安全关键视野的实现。此外，我们还解决了特定的与安全相关的任务，如在实现安全关键视野之前预测囊管或动脉的夹闭操作。我们的结果表明，相比于非结构化的替代方法，我们的方法具有优势。

Feb, 2024

通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

Jul, 2023

通过使用扩散模型结合零样本视频扩散方法，通过文本指定手术动作并通过分割掩模指导生成真实的腹腔镜图像和视频，本研究在提高培训过程中迈出了重要一步，评估了生成的图像的保真度和事实正确性，获得了 FID 指标为 38.097 和 F1-score 指标为 0.71。

Apr, 2024