Jul, 2019

使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

PDF
TL;DR采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。
surgical gesturesskill assessmentlaparoscopic videoconvolutional neural networkrobot-assisted suturing
发现论文，激发创造
  • 卷积神经网络在机器人辅助手术中客观技能评估中的深度学习

    通过深度学习框架从机器人运动数据映射到单个技能级别，提出了一种无需特征工程或精心调整手势细分，即可成功解码技能信息的模型，并能在 1-3 秒窗口内可靠地解释技能，突出了深度架构在现代外科培训中高效在线技能评估的潜力。

    Jun, 2018

  • 使用 3D 卷积神经网络进行基于视频的外科技能评估

    本研究使用深度学习方法，基于视频数据进行自动技能评估，结果表明使用 3D ConvNet 直接从数据中学习有意义的模式可以高效评估外科技术技能，使得人工特征工程不再是必须的。

    Mar, 2019

  • 使用卷积神经网络从运动数据评估外科技能

    本文通过设计一种卷积神经网络 (CNN) 来自动评估机器人手术中的外科医生技能，经过我们提出的方法在 JIGSAWS 数据集上得到了非常有竞争力的结果，并通过类激活图来解释各分类并提供个性化反馈

    Jun, 2018

  • 超越时序池化：基于循环和时态卷积的视频手势识别

    我们探索用于视频手势识别的深度架构，其中包括时间卷积和双向递归，并展示循环在任务中的重要性，进而证明添加时间卷积会带来显著提高。我们在 Montalbano 手势识别数据集上评估了这些不同方法，并实现了最新的结果。

    Jun, 2015

  • 外科手势分割与分类的深度强化学习

    研究提出了一种基于强化学习的智能代理方法，通过集成深度模型的层次特征和时间一致性，以减少超分割错误，用于手术技能评估和有效的手术培训。

    Jun, 2018

  • 使用三维卷积神经网络学习时空特征

    通过在大规模监督视频数据集上使用训练的深度三维卷积神经网络（3D ConvNets）提出了一种简单而有效的时空特征学习方法。我们的成果有三个：1）相对于 2D ConvNets，3D ConvNets 更适用于时空特征学习；2）所有层中具有小的 3x3x3 卷积核的同构体系结构是 3D ConvNets 中表现最佳的体系结构之一；3）我们学到的特征 —— 即 C3D（卷积 3D）—— 连同一个简单的线性分类器，在 4 个不同的基准测试中优于最先进的方法，并与其他 2 个基准测试中的最佳方法相当。此外，这些特征紧凑：只需 10 维便能在 UCF101 数据集上达到 52.8％的准确率，由于 ConvNets 的快速推理，计算效率也非常高。最后，它们在概念上非常简单易用且易于训练和使用。

    Dec, 2014

  • 基于多模态数据的手术手势分割和识别的分层半监督学习框架

    通过使用多模态数据、分层半监督学习框架、基于 Transformer 的网络等方法，该研究提出了一种用于手术姿势分割和手势识别的技术，并在公开可用的 JIGSAWS 数据库上进行了评估，得到了较高的分割和识别准确度。

    Jul, 2023

  • 分析音乐表演视频的深度神经网络方法

    该论文介绍了一个自动化标注音乐表演视频中手势的框架，使用 3D 卷积神经网络，通过批处理平衡和空间 - 时间手势表示等方法，成功提高了 12% 的手势识别准确率，对跨多个视频的多个手势 / 类别进行了详细的研究，并探讨了使用音频特征的可能性。

    May, 2022

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019