Jun, 2024

逐步思考：机器人手术视频中错误检测的连续手势提示

PDF
TL;DR本论文提出了一种新颖的实时端到端错误检测框架，称为 Chain-of-Thought (COG) prompting，利用手术视频中的上下文信息来提高机器人辅助微创手术的安全性和效果。通过使用 transformer、attention 和多阶段时序卷积网络等方法，该方法在公共基准 RMIS 数据集 JIGSAWS 上优于目前最先进方法的 F1 分数、准确率和 Jaccard 指数，并且平均每帧处理时间为 6.69 毫秒。
robot-assisted minimally invasive surgerysurgical error detectioncontextual informationtemporal information extractionsurgical education
发现论文，激发创造
  • 基于多模态数据的手术手势分割和识别的分层半监督学习框架

    通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

    Jul, 2023

  • 医疗错误检测和纠正的思维链 (CoT) 促进策略

    我们使用少样本上下文学习（ICL）方法以及链式思维（CoT）和大型语言模型（LLM）中的原因提示，来自动检测和纠正临床笔记中的医疗错误，并通过规则集成方法，在三个子任务中取得了第三、第三和第七名的成绩。

    Jun, 2024

  • 外科手势分割与分类的深度强化学习

    研究提出了一种基于强化学习的智能代理方法，通过集成深度模型的层次特征和时间一致性，以减少超分割错误，用于手术技能评估和有效的手术培训。

    Jun, 2018

  • 面向手术姿势识别的零样本基于提示的视频编码器

    利用 Bridge-Prompt 框架，我们对预训练的 vision-text 模型 (CLIP) 进行微调，以在外科手术视频中进行手势识别。实验结果显示基于提示的视频编码器在外科手势识别任务中优于标准编码器，尤其在零样本情况下表现出强大性能。这些预训练 + 微调的视频编码器模型在外科机器人学中提供了重要的视觉表示，特别适用于手势识别任务。

    Mar, 2024

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • 卷积神经网络在机器人辅助手术中客观技能评估中的深度学习

    通过深度学习框架从机器人运动数据映射到单个技能级别，提出了一种无需特征工程或精心调整手势细分，即可成功解码技能信息的模型，并能在 1-3 秒窗口内可靠地解释技能，突出了深度架构在现代外科培训中高效在线技能评估的潜力。

    Jun, 2018

  • 机器人辅助手术中使用 Transformer 模型识别和预测手术手势和路径

    本篇论文提出了一种新的方法，基于改进的 Transformer 模型，利用手术机器人端效应器当前的运动数据，可以实现手势识别、手势预测、轨迹预测等三个任务，能够实现近乎实时的手术活动识别和预测，实验结果表明该方案可以比同类方法表现更好。

    Dec, 2022

  • 在线识别不完整手势数据，以实现协作机器人的接口

    本文介绍了一个用于大量静态手势和动态手势分类识别的人机交互框架，利用佩戴式传感器进行数据收集，并采用降维和神经网络等处理技术，最终实现了在实时环境下的高准确率手势识别。

    Apr, 2023

  • 利用循环神经网络识别手术活动

    使用循环神经网络识别机器人运动学中的外科手术活动，成果表明使用 RNN 可以有效识别手势和操作，并提高了准确性和编辑距离。

    Jun, 2016

  • 通过多阶段序列标注实现共喃手势检测

    我们提出了一种新的框架，将手势检测任务看作多阶段序列标注问题，通过处理时间窗口内的骨骼运动序列，使用 Transformer 编码器学习上下文嵌入，并利用条件随机场进行序列标注。我们在大规模数据集上对我们的方法进行评估，结果表明，我们的方法在检测手势笔划方面明显优于强基准模型。此外，将 Transformer 编码器应用于从运动序列中学习上下文嵌入显著改善了手势单元检测。这些结果突显了我们框架捕捉共话手势阶段微观动态的能力，为更细致和准确的手势检测和分析铺平了道路。

    Aug, 2023