基于视频和加速度计的自动手术技能评估运动分析
本文研究了使用机器人运动数据中的整体特征进行自动化技能评估的方法,提出了一种加权特征融合技术来提高分数预测表现,并探讨了其在外科医生基础手术任务中的实际应用价值。实验结果表明,这些整体特征优于以前的基于 HMM 的状态 - of-the-art 方法,对 RMIS 培训中的外科医生技能评估具有潜在的实时评分反馈作用。
Dec, 2017
本文通过设计一种卷积神经网络 (CNN) 来自动评估机器人手术中的外科医生技能,经过我们提出的方法在 JIGSAWS 数据集上得到了非常有竞争力的结果,并通过类激活图来解释各分类并提供个性化反馈
Jun, 2018
提出了一种统一的多路径框架,用于通过手术视频自动预测手术的成功程度,该框架考虑了手术技能的多个组成方面,包括手术工具使用、术中事件模式和其他技能代理,并通过路径依赖模块特别建模这些不同方面之间的依赖关系。在模拟手术任务的 JIGSAWS 数据集和新的真实腹腔镜手术的临床数据集上进行了大量实验,提出的框架在两个数据集上均取得了良好的成果,模拟数据集的最先进水平从 0.71 Spearman 相关性提高到了 0.80,同时还表明结合多个技能方面比依赖单个方面获得更好的性能。
Jun, 2021
本研究使用深度学习方法,基于视频数据进行自动技能评估,结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能,使得人工特征工程不再是必须的。
Mar, 2019
我们提出了一种级联神经网络架构,仅通过学生模拟外科结扎任务的视频评估其表现,通过预训练的深度卷积网络将视频帧图像转换为特征向量,然后用时间网络对帧序列建模。在模拟结扎实验中,我们的模型在决定绳结相关任务的水平时实现了 0.71 的中位数准确率、0.66 的中位数召回率和 0.65 的中位数 F1 分数。
Dec, 2023
通过深度学习框架从机器人运动数据映射到单个技能级别,提出了一种无需特征工程或精心调整手势细分,即可成功解码技能信息的模型,并能在 1-3 秒窗口内可靠地解释技能,突出了深度架构在现代外科培训中高效在线技能评估的潜力。
Jun, 2018
提出了一种基于动力学数据的新颖技能评估方法,该方法通过将领域知识从已标记的动力学数据转移到未标记的数据,并利用伪标签对未标记数据进行准确的标注来评估机器人辅助手术中的新医生的技能水平。该方法相较于其他现有的方法不需要手动标记或者不需要先前医疗常识。
Apr, 2023
该研究利用基于卷积神经网络的区域分析法跟踪和分析手术视频中的工具移动,从而自动评估外科医生的手术技能,在空间定位工具的同时,分析手术工具使用模式、运动范围和运动经济性等方面对手术质量进行评估。
Feb, 2018
使用视频数据进行评估,展示了所提出方法在评估外科医生熟练程度、针对性培训干预和外科部门质量保证方面的有效性,该流水线结合了表示流卷积神经网络和一种新颖的基于树的高斯过程分类器,它具有抗噪性和计算效率。此外,引入了新的核来提高准确性,该流水线的性能使用 JIGSAWS 数据集进行评估,与现有文献进行比较分析显示出准确性的显著改善和计算成本的改善,该提议的流程为使用视频数据进行外科技能评估的计算效率和准确性的提升做出了贡献,在同事外科医生的评价中,我们的研究结果表明该方法有助于促进外科住院医师的技能提高,并通过针对性培训干预和外科部门质量保证来增强患者安全。
Dec, 2023
本文提出了一种跟踪外科缝合线的 3D 方法,该方法对遮挡和复杂线路具有鲁棒性,并将其应用于完成手术缝合 “尾部缩短” 任务中。该方法利用了学习到的 2D 外科缝合线检测网络,在 RGB 图像中分割缝合线。然后,通过将来自两个立体摄像头的检测三角化,将 2D 线路识别为 3D 的 NURBS 样条。一旦初始化了 3D 缝合线模型,方法就能跟踪随后的帧中的线路。实验表明该方法适用于具有挑战性的单帧 3D 线路重建和两个跟踪序列的平均重投影误差为 1.33 像素和 0.84 像素,缩短尾部任务的成功率达 90%。
Jul, 2023