ICMLDec, 2018

有限标记数据下基于 RGB 视频流的鲁棒人体活动识别

PDF
TL;DR该研究提出了一种基于 RGB 视频的人体活动识别深度学习模型，配合骨架数据以及算法技术（如数据增强，动态帧随机失活和梯度注入）来训练模型，实验结果表明该模型能够超越现有采用 RGB-D 视频流所采用的解决方案。
human activity recognitionrgb video streamsdeep bidirectional long short term memory (blstm)data augmentationrgb-only solution
发现论文，激发创造
  • RGBD 图像中的非结构化人类活动检测

    使用 RGBD 传感器和最大熵隐马尔科夫模型识别人类活动，通过层次化建模的方法，将活动分解为多个子活动，实验结果表明在不同环境下能够识别出 12 种不同的人类活动。

    Jul, 2011

  • 基于 RGB-D 和深度学习的人体动作识别：一项综述

    本文综述了近年来在 RGB-D 基础上的人体运动识别中，采用深度学习方法中卷积神经网络和循环神经网络的应用，通过四类方法（基于 RGB、基于深度、基于骨骼、基于 RGB+D）来探讨现有技术的优缺点，特别是强调了应用于视频序列固有的时空结构信息的编码方法，以及未来的研究方向。

    Oct, 2017

  • 可重构卷积神经网络实现的三维人体活动识别

    本文提出了一种基于 RGB-D 视频的自动活动识别的深度模型，使用 3D 卷积和最大池化算子，结合激活函数以及学习出活动的时间结构，该模型可以直接作用在原始输入上进行活动分类，而且还允许动态调整模型结构以适应人类活动的时间变化，并在挑战性场景下验证了该方法的优越性，同时还给出了一个大型的 RGB-D 视频人类活动数据库。

    Jan, 2015

  • NTU RGB+D 120：一个用于 3D 人体活动理解的大规模基准测试数据集

    本论文介绍了一个大规模数据集，用于 RGB+D 人体动作识别。研究显示，应用深度学习技术的 3D 人体动作识别方法更加优越，并提出了新的 APSR 解决方案，可以有效地识别新的动作类型。

    May, 2019

  • NTU RGB+D：一个用于 3D 人类活动分析的大规模数据集

    本文介绍了一个包含超过 56,000 个视频样本和 4 百万帧的大规模 RGB + D 人体动作识别数据集，其中包括 60 种不同的行为类别，并提出了一种新的循环神经网络结构来更好地对每个身体部位的特征进行长期时间相关性建模。实验结果表明，在跨主体和跨视图评估标准上，应用深度学习方法比最先进的手工制作特征具有优势。

    Apr, 2016

  • Glimpse Clouds: 从非结构化的特征点中识别人类活动

    本文介绍了一种基于 RGB 数据的人体姿态无关、不需要在测试期间显式计算姿态信息的人体活动识别方法，使用视觉注意模块预测每一帧图像中的海报序列，这些海报对应于场景中与分类活动相关的感兴趣点；采用一种外部记忆模块软分配这些感兴趣点到一组先前跟踪和识别工作者，优化分配的一致性。

    Feb, 2018

  • RGB+D 视频中的行为识别深度多模态特征分析

    本文提出一种新的深度自编码器共享特定特征分解网络，将多模态信号分解成一系列组件，进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能，实验证明该方法在动作识别方面最先进。

    Mar, 2016

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 工业场景中的主体视角 RGB + 深度行为识别

    我们的研究集中在认识行为，特别是来自以自我为中心视角的行为，并结合深度模态从工业环境中识别行为。针对现实世界中多模态行为发生的困难，我们提出了一种训练策略，并通过后期融合来结合来自每种模态的预测，这在 MECCANO 数据集上明显优于先前的工作，并在 ICIAP 2023 的多模态行为识别挑战中获得第一名。

    Sep, 2023

  • 视频的无监督学习长期运动动态

    本文提出了一种无监督表征学习方法，可以紧凑地编码视频中的运动依赖。利用 RNN Encoder-Decoder 框架预测序列化的原子级 3D 流，以有效地减少学习框架的复杂性。该方法可以用于运动分类和识别等多种应用。

    Jan, 2017