Jul, 2023

基于多模态数据的手术手势分割和识别的分层半监督学习框架

PDF
TL;DR通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。
surgical operation trajectoriessurgical gesture segmentationmulti-modality datatransformer-based networkgesture recognition
发现论文，激发创造
  • 外科手势分割与分类的深度强化学习

    研究提出了一种基于强化学习的智能代理方法，通过集成深度模型的层次特征和时间一致性，以减少超分割错误，用于手术技能评估和有效的手术培训。

    Jun, 2018

  • 机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

    本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

    Dec, 2022

  • 卷积神经网络在机器人辅助手术中客观技能评估中的深度学习

    通过深度学习框架从机器人运动数据映射到单个技能级别，提出了一种无需特征工程或精心调整手势细分，即可成功解码技能信息的模型，并能在 1-3 秒窗口内可靠地解释技能，突出了深度架构在现代外科培训中高效在线技能评估的潜力。

    Jun, 2018

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • 利用循环神经网络识别手术活动

    使用循环神经网络识别机器人运动学中的外科手术活动，成果表明使用 RNN 可以有效识别手势和操作，并提高了准确性和编辑距离。

    Jun, 2016

  • 自主深度自我学习与可视化的自动手势识别

    本研究利用深度学习探索了三种不同的方法来识别手势：基于监督学习的方法、自监督学习方法和基于可视化的技术应用于三维运动骨架数据。实验结果表明，监督学习方法能够准确识别手势，而自监督学习方法在模拟环境中提高了识别准确性，Grad-CAM 可视化结果显示了模型对相关骨骼关节的关注。

    Jun, 2024

  • 手术中基于视觉动力学图学习的适用于任何程序的机器人手术器械尖端分割

    通过图学习、多模态信息和交叉验证，我们提出了一种新的视觉 - 运动学图学习框架，精确地对给定的各种手术过程中的手术器械尖端进行分割。

    Sep, 2023

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 逐步思考：机器人手术视频中错误检测的连续手势提示

    本论文提出了一种新颖的实时端到端错误检测框架，称为 Chain-of-Thought (COG) prompting，利用手术视频中的上下文信息来提高机器人辅助微创手术的安全性和效果。通过使用 transformer、attention 和多阶段时序卷积网络等方法，该方法在公共基准 RMIS 数据集 JIGSAWS 上优于目前最先进方法的 F1 分数、准确率和 Jaccard 指数，并且平均每帧处理时间为 6.69 毫秒。

    Jun, 2024

  • 弱监督下的外科手术阶段识别

    通过图像分割和自监督学习，我们提出了一种基于随机游走的算法来实现逐帧术期预测，并利用稀疏时间戳或少样本学习的形式进行弱监督。在使用公共的腹腔镜胆囊切除术视频数据集进行实验验证时，我们的方法表现出了低复杂度和在小数据情况下的良好性能。

    Oct, 2023