Dec, 2018

利用多模态训练提高单模态动态手势识别的性能

PDF
TL;DR我们提出了一个基于 3D 卷积神经网络的方法，使用多个模态的数据来训练单模态网络，通过引入一个空间时间语义对齐的损失函数和一个针对负面知识传递的正则化参数来避免在多个模态之间进行直接的融合以提高手势识别性能。实验结果表明，我们的框架提高了单模态网络的测试时间识别准确性，并在各种动态手势识别数据集上提供了最先进的性能。
dynamic hand gesture recognition3d convolutional neural networksmultimodal informationspatiotemporal semantic alignmentfocal regularization parameter
发现论文，激发创造
  • 从单模态到多模态：通过深度生成模型改进基于 sEMG 的模式识别

    通过使用深度生成模型生成虚拟惯性测量单元信号，将 sEMG 信号和生成的虚拟 IMU 信号输入多模态卷积神经网络模型，可以显著提高基于 sEMG 的手势识别的准确性。

    Aug, 2023

  • 搜索多速率和多模态时域增强网络进行手势识别

    本文提出了一种基于神经结构搜索的方法来进行 RGB-D 手势识别，该方法包括增强临时表示和优化多采样速率分支与侧向连接，实现了 RGB 和深度模态间和它们的时间动态之间关系的全面探究，并且在三个基准数据集上进行的全面实验证明了其在单 / 多模态设置下的最先进表现。

    Aug, 2020

  • 实时手势识别：骨骼数据融合和多流 CNN 的整合

    本研究聚焦于手势识别，通过数据级融合和多流卷积神经网络架构的集成调节器，有效地解决了人手形态中的个体差异问题，将骨骼模式的时空手势信息编码到 RGB 图像中，从而提高了姿势理解的语义并降低了噪声，其在 SHREC2017、DHG1428、FPHA、LMDHG 和 CNR 等基准数据集上实现了实时运行，大幅减少硬件需求和计算复杂性，为资源受限设备的人机交互和环境智能提供了可靠性和创新性。

    Jun, 2024

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • 多模态 Transformer 改进单模态推理

    通过多分支架构和多模态训练，本文提出一种改进单模态模型性能的方法，通过多任务目标，强大的多模态分支将其知识传递给较弱的单模态分支，从而提高了单模态模型的性能。该方法在手势识别、情感识别和情感分析任务上优于传统训练的单模态模型，并观察到优化单模态分支可以改进多模态分支的性能。

    Nov, 2023

  • 利用多模态数据进行单目实时手部形状和运动捕捉

    本研究提出了一种能够在 100fps 下具有最先进精度的单目手部形状和姿态估计新方法，它采用的是一种新的基于学习的架构设计，使其能够利用三维或二维标注图像数据以及独立的三维动画等所有可用的手部训练数据。该方法的输出使其更适用于计算机视觉和图形学领域中的应用，并且在数个具有挑战性的基准测试中取得了显著的定量和定性改善。

    Mar, 2020

  • 生成链：通过级联条件控制多模态手势合成

    本研究使用人类语音的多模态信息来改进生成 3D 手势，通过引入多模态先验作为约束来提高手势生成的质量，采用链式建模方法顺序生成面部融合形状、身体动作和手势，并结合从面部变形中得出的节奏提示和基于语音情感的风格化先验以生成手势，通过引入多模态先验，提高生成手势质量，消除了推断期间昂贵的设置准备的需求，大量实验证实我们的方法达到了最先进的性能。

    Dec, 2023

  • 基于 SPD 流形学习的神经网络用于基于骨架的手势识别

    该研究提出了一种基于 SPD 流形学习的神经网络，用于骨架手势识别，并在两个具有挑战性的数据集上实现最先进的准确性。

    Apr, 2019

  • 基于姿态的手势识别的双流神经网络

    本研究提出了基于自注意力图卷积网络和 RBI-IndRNN 的双流神经网络，用于提取短期和长期时间信息，以实现手势识别。在 Dynamic Hand Gesture 数据集和 First-Person Hand Action 数据集上验证了其有效性，并取得了最新的性能。

    Jan, 2021

  • 使用卷积神经网络进行实时手势检测与分类

    本研究提出了一种层次结构的卷积神经网络架构，通过使用滑动窗口方法，使离线工作的卷积神经网络架构能够高效地在线操作，同时细化了手势检测和分类。该架构达到了 94.04％和 83.82％的离线分类准确率以及可实现良好的在线操作表现。

    Jan, 2019