Feb, 2024

Surgment: 基于分割的语义搜索和创造性的视觉问题与反馈支持视频手术学习

PDF
TL;DR通过 Surgment 系统，基于外科手术录像，外科专家可以创建带反馈的练习，用于丰富基于视频的外科手术学习体验的技术。外科医生可以通过草图检索感兴趣的帧，并设计以特定解剖组成部分为目标并提供视觉反馈的练习，以提供高教育价值的图像问题和反馈。
videossurgical traineessurgmentfew-shot learningsurgery recordings
发现论文，激发创造
  • 通过观看数百个手术视频讲座学习多模态表示

    该研究使用手术视频讲座来进行多模态表示学习，通过自动生成的文本转录来解决手术视频中的语言挑战，提出了一种新的对齐视频和文本嵌入的方法 SurgVLP，并介绍了一些用于手术的视觉与语言任务作为评估标准。

    Jul, 2023

  • 基于多模态数据的手术手势分割和识别的分层半监督学习框架

    通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

    Jul, 2023

  • Surgical-VQA: 使用 Transformer 解决手术场景中的视觉问答问题

    我们设计了一个基于医学图像的手术问答系统，使用视觉和文本转换模型，并通过两个 Surgical-VQA 数据集验证了所提出的方法，结合分类和基于句子的答案以回答关于手术程序的问卷调查。

    Jun, 2022

  • 利用场景图知识推进手术视觉问答

    通过使用场景图知识解决目前手术 VQA 系统中的问题条件偏见和融入场景感知推理两个挑战，我们提出了一种基于手术场景图的数据集 SSG-QA 和一种新颖的手术 VQA 模型 SSG-QA-Net，展示了通过将几何场景特征融入 VQA 模型设计中能够显著提高结果。

    Dec, 2023

  • 外科手术视频语义分割的时空网络

    在手术视频中进行语义分割在术中导航、术后分析和手术教育方面有应用价值。我们提出了一种用于建模视频时间关系的新架构，通过改善帧之间的时间一致性以提高视频语义分割精度，并在两个数据集上验证了其性能提升。

    Jun, 2023

  • 深度多模态融合用于手术反馈分类

    通过文本、音频和视频的模态，利用多标签机器学习模型，自动对实时背景外科手术反馈进行分类，从而对外科培训中的技能提升有所帮助。

    Dec, 2023

  • SegMatch：一种用于手术器械分割的半监督学习方法

    通过引入 SegMatch 方法，在手术仪器分割中使用半监督学习，减少了对昂贵标注的需求，并在 MICCAI 仪器分割挑战数据集上展示出性能的提升，超过了全监督学习方法和其他半监督语义分割模型。

    Aug, 2023

  • 胸科手术视频分析与手术阶段识别

    该研究论文介绍了一种利用视频数据进行手术阶段识别的方法，旨在为自动化工作流分析提供手术程序的全面理解。研究表明，在手术阶段识别任务中，视频基分类器相比于基于图片的分类器具有更高的效果。

    Jun, 2024

  • 外科视频的动态场景图表示

    通过使用场景图和图卷积网络对手术视频进行建模和分析，研究证明其在自动化手术工作流识别方面具有竞争性能，并对模型决策的解释性和稳健性提供了关键的临床支持。

    Sep, 2023

  • SurgicalSAM: 高效可类别提示的手术工具分割

    SurgicalSAM 是一种针对显著改善 SAM 泛化性能的新型端到端高效调优方法，引入了轻量级基于原型的类提示编码器，并提出了对比原型学习以进一步增强类原型的区分力，通过在 EndoVis2018 和 EndoVis2017 数据集上进行广泛实验，证明其达到了最先进的性能，仅需要少量可调参数。

    Aug, 2023