Nov, 2016

基于一致投票和三维卷积的多模态融合技术用于孤立手势识别

PDF
TL;DR本文提出了一种基于 RGB 和深度视频序列的空间与时间信息互补建模方法，采用卷积二流一致投票网络（2SCVN）和 3D 深度显著性 ConvNet 流（3DDSN）的并行聚合结构，极大提高了细微运动特征的识别准确性，结果在 Chalearn IsoGD 基准测试中优于领先者 10.29％，在 RGBD-HuDaAct 数据集上取得了最佳效果（96.74％），同时进行了定量实验和定性分析。
depth videosgesture recognitionrgb sequencesconvolutional twostream consensus voting networkdepth-saliency convnet stream
发现论文，激发创造
  • 基于卷积神经网络的大规模孤立手势识别

    该论文提出了三种简单、紧凑而又有效的深度序列表示方法，分别称为动态深度图像 (DDI)、动态深度法线图像 (DDNI) 和动态深度运动法线图像 (DDMNI)。这些动态图像是从一系列深度图像构建而成的，使用双向排名池化来有效地捕捉时空信息，从而使我们能够对已经训练好的卷积神经网络 (ConvNets) 模型进行微调，以用于深度序列的分类。在该论文提出的基础上，我们开发了一个卷积神经网络 (ConvNets) 方法，用于手势识别，并在 2016 年 ChaLearn Looking at People（LAP）挑战赛的大规模隔离手势识别中进行了评估，达到了 55.57％的分类准确率，并排名第二，虽然只使用了深度数据，但非常接近最佳表现。

    Jan, 2017

  • 基于事件和深度数据的脉冲卷积神经网络手势识别的高效传感器融合

    智能系统在我们日常生活中变得越来越重要，需要新的交互方式。本文提出的脉冲卷积神经网络利用事件和深度数据进行手势识别，通过在嵌入式系统上进行离线训练和评估，并使用开源的神经形态计算框架 LAVA 进行模拟。研究结果表明，在深度信息和模态融合中，时间编码及不同编码的数据对网络性能和泛化能力有积极效果。

    Jan, 2024

  • 搜索多速率和多模态时域增强网络进行手势识别

    本文提出了一种基于神经结构搜索的方法来进行 RGB-D 手势识别，该方法包括增强临时表示和优化多采样速率分支与侧向连接，实现了 RGB 和深度模态间和它们的时间动态之间关系的全面探究，并且在三个基准数据集上进行的全面实验证明了其在单 / 多模态设置下的最先进表现。

    Aug, 2020

  • RGB-D 行动识别的深度聚合网络协同训练

    提出了一种利用多种异构源中的联合信息的新型深度神经网络训练范式。具体来说，在基于 RGB-D 的动作识别任务中，它会在 RGB 视觉特征和深度特征上合作训练单个卷积神经网络（命名为 c-ConvNet），并深度聚合这两种特征进行动作认证。

    Dec, 2017

  • 使用卷积神经网络进行大规模连续手势识别

    使用卷积神经网络从连续深度图序列中识别手势，主要方法包括使用数量运动进行个别手势分段、构建改进的深度运动图、通过卷积神经网络进行手势识别和在 ChaLearn LAP Challenge 竞赛中取得第三名的表现。

    Aug, 2016

  • 使用多邻域图卷积的 2D-3D 几何融合网络用于 RGB-D 室内场景分类

    提出了一种 2D-3D 融合策略，将 3D 几何特征和 2D 纹理特征相结合，实现场景分类任务中的多模态融合，并通过多领域图卷积和最近体素池化等策略提高性能。实验结果表明，该方法在 RGB-D 室内场景分类任务中优于当前的技术水平。

    Sep, 2020

  • 学习有效的 RGB-D 场景识别表示

    该研究介绍一种基于深度学习的 RGB-D 场景识别方法，提出了一种深度学习模型训练的两步骤方法和一种新的 RGB-D 视频数据集，实现了在 RGB-D 图像 (NYUD2 和 SUN RGB-D) 和视频 (ISIA RGB-D) 场景识别方面的最优表现。

    Sep, 2018

  • 使用 3D 卷积神经网络学习时空特征，实现视频自动手术姿态识别

    采用三维卷积神经网络从连续视频帧中学习时空特征，实现视觉手术姿势识别，可用于手术技能评估、手术操作中的监控和手术任务的半自动化等多种应用。在针对 JIGSAWS 数据库中的机器人辅助缝合视频的测试中，通过对空间时间特征建模，该方法实现了高于 84% 的手术姿态识别准确性，是视频手术姿态识别的重要进展。

    Jul, 2019

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • 基于深度池化的卷积神经网络大规模三维动作识别

    本论文提出了三种简单、紧凑而有效的深度序列表示，称为 DDI、DDNI 和 DDMNI，用于孤立和连续行为识别。在这些动态图像上，设计了基于 ConvNet 的方法进行行动识别，取得了三个大型数据集上的最先进结果，即 Large-scale Continuous Gesture Recognition Dataset（Jaccard 指数 0.4109）、Large-scale Isolated Gesture Recognition Dataset（59.21％）和 NTU RGB + D Dataset（跨主体 87.08％和跨视角 84.22％），即使只使用深度模态。

    Mar, 2018