利用循环神经网络识别手术活动
本篇论文提出了一种新的方法,基于改进的 Transformer 模型,利用手术机器人端效应器当前的运动数据,可以实现手势识别、手势预测、轨迹预测等三个任务,能够实现近乎实时的手术活动识别和预测,实验结果表明该方案可以比同类方法表现更好。
Dec, 2022
通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法,该研究提出了一种用于手术姿势分割和手势识别的技术,并在公开可用的 JIGSAWS 数据库上进行了评估,得到了较高的分割和识别准确度。
Jul, 2023
通过深度学习框架从机器人运动数据映射到单个技能级别,提出了一种无需特征工程或精心调整手势细分,即可成功解码技能信息的模型,并能在 1-3 秒窗口内可靠地解释技能,突出了深度架构在现代外科培训中高效在线技能评估的潜力。
Jun, 2018
采用三维卷积神经网络从连续视频帧中学习时空特征,实现视觉手术姿势识别,可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中,通过对空间时间特征建模,该方法实现了高于 84% 的手术姿态识别准确性,是视频手术姿态识别的重要进展。
Jul, 2019
本文章提出了一个基于生成式循环神经网络的框架,用于检测动作模式并对动物的感觉 - 运动关系进行建模,在果蝇行为和在线手写字迹两种数据上进行了测试,结果表明,利用未标记的序列通过预测未来运动显著地提高了在训练标签稀缺时动作检测的表现,该网络可以学习到高级现象,如作者身份和果蝇性别,且无需监督,在将运动预测作为网络输入生成的模拟运动轨迹看起来真实,可用于定性评估模型是否学习到了生成控制规则。
Nov, 2016
本文提出了一种基于骨架的动态手势识别新运动特征增强的循环神经网络,该算法通过双向循环神经网络将动作特征与骨架序列结合起来,从而在识别手势时提高了准确性。
Aug, 2017
本文探讨了基于深度学习在普适计算中的人类活动识别(HAR)技术,介绍了如何使用具有创新性的正则化方法训练循环神经网络,提出了适用于 HAR 问题的模型,并通过多个随机实验说明了超参数的影响和模型的适用性。
Apr, 2016
本文基于一种使用手部骨骼的角度作为特征的 RNN 方法,旨在解决手势识别的问题,并在 ASL 数据集和 SHREC 数据集上测试和证明了该方法的有效性和优越性。
Mar, 2018