CVPRDec, 2018

Timeception 用于复杂动作识别

PDF
TL;DR该研究聚焦于利用具有重要视觉作用的时间因素识别视频中的人类活动。研究回顾了传统活动定义，提出限定为特定目的的一系列动作的复杂动作。研究提出了具有时域感知特性的卷积神经网络，并取得了在 Charades、Breakfast Actions 和 MultiTHUMOS 数据集上的高准确率，表明可用于实际应用中。
human activitiestemporal aspecttimeception convolutioncomplex actionslong-range temporal modeling
发现论文，激发创造
  • 行动识别的长期时间卷积

    通过使用长时序卷积神经网络和高质量的光流估计，该研究获得了 UCF101 和 HMDB51 数据集上最先进的人类动作识别结果，具备良好的行为表示和准确性。

    Apr, 2016

  • 动作识别中空间 - 时间卷积的近距离观察

    本文研究了几种用于视频分析的时空卷积形式，并研究了它们对动作识别的影响。我们在残差学习的框架下，实证演示了 3D CNNs 相对于 2D CNNs 的准确性优势。此外，我们还表明把 3D 卷积滤波器分解成单独的时空分量会显著提高准确性。最终，我们设计了一个新的时空卷积块 “R (2+1) D”，这种方法产生的 CNN 的结果与最新技术相当甚至更好，可以在 Sports-1M、Kinetics、UCF101 和 HMDB51 数据集上取得更好的表现。

    Nov, 2017

  • 用于动作分割和检测的时序卷积网络

    介绍了一种新的 Temporal Convolutional Networks 模型，可用于对视频中动作的细粒度分割和检测，具有高效性和良好的表现。

    Nov, 2016

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021

  • 多模态时间卷积网络在自我中心视频中预测动作

    本文提出了一种基于时间卷积的层次结构多模态神经网络，不依赖于循环层实现对人类动作的预测，且通过多模态融合机制使得在处理具有 # egocentric videos# 意义的庞大数据集时达到了与最新研究相当的性能，但具有明显的时间优势。

    Jul, 2021

  • 用于行为识别的异步时间场

    提出了一种基于完全连接的时间条件随机场模型，用于推理各个活动方面，包括对象、动作和意图，其中潜在函数由深层网络预测；而异步变分推理方法使得高效的端到端训练成为可能，该方法在 Charades 基准测试中达到了 22.4％的分类 mAP，超过了现有技术 (17.2％mAP)。

    Dec, 2016

  • MS-TCT: 多尺度时间卷积转换器用于动作检测

    我们提出了一种基于 ConvTransformer 网络的行动检测方法，通过三个组件（时间编码器、时间尺度混合器和分类器）高效地捕捉视频中的短期和长期时间信息，实验表明该方法在 Charades、TSU 和 MultiTHUMOS 数据集上效果显著优于现有方法。

    Dec, 2021

  • 可解释的基于时态卷积网络的 3D 人体动作分析

    本文提出了一种使用新型解释性模型 TCN 进行 3D 人体动作识别任务的方法 Res-TCN，并在最大的 3D 人体动作识别数据集 NTU-RGBD 上取得了最新的成果。

    Apr, 2017

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • Action2Activity: 从传感器数据识别复杂活动

    本文提出了一种新的方法，该方法包括临时模式挖掘和自适应多任务学习，用于实现复杂活动识别，实验证明其有效性。

    Nov, 2016