深度选择:一种完全监督的手术记录摄像头选择网络
本研究提出了一种新的方法,使用卷积神经网络从胆囊切除术视频中自动学习特征,以完成手术阶段识别和工具存在检测等多任务学习,该方法取得了最好的效果。
Feb, 2016
该研究利用基于卷积神经网络的区域分析法跟踪和分析手术视频中的工具移动,从而自动评估外科医生的手术技能,在空间定位工具的同时,分析手术工具使用模式、运动范围和运动经济性等方面对手术质量进行评估。
Feb, 2018
本研究使用深度学习方法,基于视频数据进行自动技能评估,结果表明使用3D ConvNet直接从数据中学习有意义的模式可以高效评估外科技术技能,使得人工特征工程不再是必须的。
Mar, 2019
该研究使用手术视频讲座来进行多模态表示学习,通过自动生成的文本转录来解决手术视频中的语言挑战,提出了一种新的对齐视频和文本嵌入的方法 SurgVLP,并介绍了一些用于手术的视觉与语言任务作为评估标准。
Jul, 2023
该论文研究了图神经网络如何增强视觉场景理解和手术技能评估,通过使用图神经网络分析以图形结构表示的手术过程的复杂视觉数据,可以提取相关特征并预测手术技能。此外,图神经网络提供可解释的结果,揭示了对预测技能指标有贡献的具体行动、仪器或解剖结构,这对于手术教育者和学员非常有益,因为它提供了成功手术表现和结果的重要见解。SurGNN提出了两种并行的方法-一种是有监督的,另一种是自监督的。文中还简要讨论了其他自动化手术技能评估技术,并强调手工设计特征在捕捉手术专长的细微差别方面的局限性。我们使用所提出的方法在EndoVis19和自定义数据集上达到了最先进的结果。代码的工作实现可以在此https URL找到。
Aug, 2023
本论文介绍了使用深度相机对开放手术技能进行自动评估的新方法,并通过比较深度相机和RGB相机的结果,证明了深度相机在手术技能评估中的潜力。研究还发现,深度相机在物体检测和动作分割方面取得了可比较的结果,并强调了深度相机提供更准确的手部运动表示的优势。这项研究对于推动外科技能评估领域的发展具有重要意义,并为未来的研究奠定了基础。
Jan, 2024
经过探索性数据分析,我们发现手术视频具有相对简单的语义结构,我们提出了一种基于隐马尔可夫模型(HMM)的深度学习方法,用于工具存在性检测,结果表明,与复杂模型结构的流行深度学习方法相比,我们的方法在性能、训练和运行成本以及数据利用方面都更优,智能地将深度学习和统计学相结合可能会导致更强大的算法,同时享有竞争性能、透明解释和便捷的模型训练方式。
Apr, 2024
本研究针对外科手术视频生成领域,提出了SurGen,一个文本引导的扩散模型,解决了现有模型在分辨率和视频时长方面的不足。通过使用标准的图像和视频生成评估指标,验证了输出的视觉和时间质量。研究结果表明,扩散模型具有作为外科培训工具的潜力。
Aug, 2024
本研究解决了外科手术视频生成中缺乏真实感和交互性的挑战,提出了一种新的文本引导扩散模型SurGen。该模型能够生成最高分辨率和最长时长的手术视频,验证了其在视觉和时间质量上的优越性,为外科医师培训提供了有潜力的教育工具。
Aug, 2024