CVPROct, 2020

基于 CNN 的时空表示深度分析用于行为识别

PDF
TL;DR本文分析基于 2D 或 3D CNN 的视频动作识别方法，比较这些方法之间的区别和进展，并开发了一个统一框架进行公平比较，发现在动作识别方面取得了显著的提高，但准确性未有进展，探究了 2D-CNN 与 3D-CNN 模型在时空表示能力和可传递性方面的相似之处。
发现论文，激发创造
  • 动作识别中空间 - 时间卷积的近距离观察

    本文研究了几种用于视频分析的时空卷积形式，并研究了它们对动作识别的影响。我们在残差学习的框架下，实证演示了 3D CNNs 相对于 2D CNNs 的准确性优势。此外，我们还表明把 3D 卷积滤波器分解成单独的时空分量会显著提高准确性。最终，我们设计了一个新的时空卷积块 “R (2+1) D”，这种方法产生的 CNN 的结果与最新技术相当甚至更好，可以在 Sports-1M、Kinetics、UCF101 和 HMDB51 数据集上取得更好的表现。

    Nov, 2017

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017

  • 基于骨骼的动作识别的双流三维卷积神经网络

    本文利用 3D CNN 提取基于骨架的动作识别的时空信息与深度特征，探讨其与 RNN 的互补性和噪声下的鲁棒性，并在 SmartHome 数据集和 NTU RGB-D 数据集上获得优异的表现。

    May, 2017

  • 使用 3D 残差网络学习时空特征用于动作识别

    通过使用 Residual Networks 的 3D CNN，我们训练了一个视频动作识别模型，并实验表明在 Kinetics 数据集上它具有更好的性能，虽然参数很大但没有出现过拟合的问题

    Aug, 2017

  • 重新思考时空特征学习：视频分类的速度和准确性权衡

    本研究通过优化设计网络结构，系统地探讨了关键网络设计选择，包括将大量 3D 卷积替换为低成本的 2D 卷积、可分离的空间 / 时间卷积和特征门控等，进而建立了一个有效而高效的视频分类系统。实验表明本文方法不仅速度更快，而且在行动分类基准测试（Kinetics、Something-something、UCF101 和 HMDB）以及两个行动检测（本地化）基准测试（JHMDB 和 UCF101-24）中的分类效果也比其他方法更有竞争力。

    Dec, 2017

  • 视频数据中人类行为识别的深度学习方法

    通过对深度学习模型的全面分析，这项研究揭示了卷积神经网络、循环神经网络和两流卷积神经网络在人体动作识别中的优势和性能差异，并强调了综合模型在实现强大的人体动作识别方面的潜力和优化的研究方向。

    Mar, 2024

  • 深度视频动作识别的全面研究

    本文综述了 200 多篇关于视频动作识别的深度学习论文，介绍了 17 个影响模型设计的数据集和深度学习模型的发展历程，包括深度学习适应、双流网络、3D 卷积核和计算效率模型，并对几种方法在典型数据集上进行了基准测试，最后，讨论了视频动作识别面临的问题和未来的研究机会。

    Dec, 2020

  • 基于 LSTM 和 CNN 的骨架动作识别

    该研究使用 3D 骨架数据和卷积神经网络 (CNN) 和长短期记忆 (LSTM) 方法进行 3D 人体行为分析，证明 CNN 和 LSTM 的分数融合方法可以更有效地捕获空间 - 时间信息，并在 NTU RGB+D 数据集上取得了最先进的结果，在深度视频中的大规模 3D 人体动作分析挑战中排名第一。

    Jul, 2017

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 可解释的基于时态卷积网络的 3D 人体动作分析

    本文提出了一种使用新型解释性模型 TCN 进行 3D 人体动作识别任务的方法 Res-TCN，并在最大的 3D 人体动作识别数据集 NTU-RGBD 上取得了最新的成果。

    Apr, 2017