Oct, 2017

基于 RGB-D 和深度学习的人体动作识别：一项综述

PDF
TL;DR本文综述了近年来在 RGB-D 基础上的人体运动识别中，采用深度学习方法中卷积神经网络和循环神经网络的应用，通过四类方法（基于 RGB、基于深度、基于骨骼、基于 RGB+D）来探讨现有技术的优缺点，特别是强调了应用于视频序列固有的时空结构信息的编码方法，以及未来的研究方向。
human motion recognitionrgb-d datadeep learning techniquesconvolutional neural networksrecurrent neural networks
发现论文，激发创造
  • 视频人体动作识别中的深度神经网络：综述

    本篇论文研究了基于视频的人体行为识别任务，通过比较现有的深度学习框架（尤其是视频动作识别的表现）和机器学习框架，提出了多项新颖的研究方案。

    May, 2023

  • 可重构卷积神经网络实现的三维人体活动识别

    本文提出了一种基于 RGB-D 视频的自动活动识别的深度模型，使用 3D 卷积和最大池化算子，结合激活函数以及学习出活动的时间结构，该模型可以直接作用在原始输入上进行活动分类，而且还允许动态调整模型结构以适应人类活动的时间变化，并在挑战性场景下验证了该方法的优越性，同时还给出了一个大型的 RGB-D 视频人类活动数据库。

    Jan, 2015

  • 学习有效的 RGB-D 场景识别表示

    该研究介绍一种基于深度学习的 RGB-D 场景识别方法，提出了一种深度学习模型训练的两步骤方法和一种新的 RGB-D 视频数据集，实现了在 RGB-D 图像 (NYUD2 和 SUN RGB-D) 和视频 (ISIA RGB-D) 场景识别方面的最优表现。

    Sep, 2018

  • 基于 RGB-D 的动作识别数据集：调查

    本文系统回顾了人类动作识别中使用的 RGB-D 数据集，包括单视图、多视图和多人数据集，并分析了这些数据集的详细信息。此外，还讨论了当前算法评估中存在的问题，提出了收集新数据集和使用评估协议的建议。

    Jan, 2016

  • 基于三维骨架的行为识别学习方法调查

    这篇研究论文介绍了从基于深度学习架构的角度全面讨论使用三维骨架数据进行动作识别，并详细介绍了基于循环神经网络 (RNN)-based、卷积神经网络 (CNN)-based 和图卷积网络 (GCN)-based 的主流动作识别技术，并介绍了包括 NTU-RGB+D 在内的多个数据集和算法。

    Feb, 2020

  • 从合成数据中学习人体姿势模型以实现鲁棒的 RGB-D 动作识别

    我们提出了一种人体姿态模型，可表示与服装纹理、背景、光线条件、身体形状和摄像机视点无关的 RGB 和深度图像。通过开发一个综合训练数据的框架，我们学习了 CNN 模型并使用它们从真正的 RGB 和深度帧的人体动作视频中提取不变特征。在三个基准跨视图人体动作数据集的实验中，我们的算法在 RGB 和 RGB-D 动作识别方面明显优于现有方法。

    Jul, 2017

  • 鲁棒的 RGB-D 物体识别多模态深度学习

    使用卷积神经网络，采用 RGB-D 架构，通过两个不同模式的 CNN 处理流程结合延迟融合网络来识别物体，同时引入多阶段训练方法以及进行数据增强方案，使得处理 RGB-D 图像更加健壮，同时在真实嘈杂环境中取得了最先进的识别结果。

    Jul, 2015

  • NTU RGB+D：一个用于 3D 人类活动分析的大规模数据集

    本文介绍了一个包含超过 56,000 个视频样本和 4 百万帧的大规模 RGB + D 人体动作识别数据集，其中包括 60 种不同的行为类别，并提出了一种新的循环神经网络结构来更好地对每个身体部位的特征进行长期时间相关性建模。实验结果表明，在跨主体和跨视图评估标准上，应用深度学习方法比最先进的手工制作特征具有优势。

    Apr, 2016

  • 有限标记数据下基于 RGB 视频流的鲁棒人体活动识别

    该研究提出了一种基于 RGB 视频的人体活动识别深度学习模型，配合骨架数据以及算法技术（如数据增强，动态帧随机失活和梯度注入）来训练模型，实验结果表明该模型能够超越现有采用 RGB-D 视频流所采用的解决方案。

    Dec, 2018

  • NTU RGB+D 120：一个用于 3D 人体活动理解的大规模基准测试数据集

    本论文介绍了一个大规模数据集，用于 RGB+D 人体动作识别。研究显示，应用深度学习技术的 3D 人体动作识别方法更加优越，并提出了新的 APSR 解决方案，可以有效地识别新的动作类型。

    May, 2019