利用时空动态进行活动识别的 TS-LSTM 和 Temporal-Inception

Mar, 2017

利用时空动态进行活动识别的 TS-LSTM 和 Temporal-Inception

TS-LSTM and Temporal-Inception: Exploiting Spatiotemporal Dynamics for Activity Recognition

Chih-Yao Ma, Min-Hung Chen, Zsolt Kira, Ghassan AlRegib

TL;DR本研究介绍了一种基于 ResNet-101 的两个强大的基线二流卷积神经网络，并比较分析了使用循环神经网络和 Temporal-ConvNets 来提取时空特征的方法。研究得出，在 UCF101 和 HMDB51 数据集上的实验结果表明，使用 LSTM 和 Temporal-ConvNets 处理时空特征矩阵可以提高总体性能，并发现了每种方法的特定局限性，可作为未来研究的基础。

Abstract

Recent two-stream deep Convolutional Neural Networks (ConvNets) have made significant progress in recognizing human actions in videos. Despite their success, methods extending the basic two-stream ConvNet have not systematically explored possible network architectures to further exploit spatiotemporal dynamics within video sequences. Further, such networks o

two-stream convnets spatiotemporal information recurrent neural networks temporal-convnets resnet-101

发现论文，激发创造

基于时空残差网络的视频动作识别

本文介绍了一种新的结构 spatiotemporal ResNets，将两种架构 two-stream Convolutional Networks 和 Residual Networks 相结合，通过残差连接实现了空时交互，并引入可学习卷积过滤器，将图像 ConvNets 转换成空时网络，从而提高了动作识别的准确率。

Nov, 2016

基于卷积双流网络融合的视频动作识别

为了最好地利用时空信息，我们研究了在空间和时间上融合 ConvNet 塔的多种方法，并发现在卷积层融合空间和时间网络而不是在 softmax 层融合可以大大减少参数。我们提出了一种新的 ConvNet 架构，以融合视频片段的空时信息，并在标准基准测试中评估了其性能，该架构达到了最先进的结果。

Apr, 2016

Two Stream LSTM：人类动作识别的深度融合框架

本文主要介绍了基于卷积神经网络和 LSTM 神经网络的动作识别方法，实验证明本文提出的多流融合模型可以有效地提高识别准确率。

Apr, 2017

基于格子长短期记忆的人类动作识别

L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

Aug, 2017

利用双流循环神经网络建模动作的时间动态和空间配置

本文提出了一种新型的双流 RNN 架构，用于模拟基于骨架的动作识别中的时间动态和空间配置，并探索了两种不同的时间流结构：叠加 RNN 和分层 RNN，以及两种转换空间结构的有效方法，还利用旋转和缩放变换来改善模型的泛化性能。实验表明，我们的方法在各种动作，如一般动作、互动活动和手势中，都带来了相当大的改进。

Apr, 2017

视频分类的混合深度学习框架中建模时空线索

本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

Apr, 2015

超越短片段：用于视频分类的深度网络

本论文提出和评估了几个深度神经网络架构，用于对比以往更长时间段内视频图像信息的组合。通过一些新的方法，包括卷积时间特征池化和循环神经网络结构，该论文指出最佳神经网络在 Sports 1 million 数据集（73.1％对 60.9％）和 UCF-101 数据集中（88.6％对 88.0％）及无附加光流信息（82.6％对 72.8％）上明显性能提高。

Mar, 2015

用于视频动作识别的双流卷积神经网络

本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

Jun, 2014

动作识别中空间 - 时间卷积的近距离观察

本文研究了几种用于视频分析的时空卷积形式，并研究了它们对动作识别的影响。我们在残差学习的框架下，实证演示了 3D CNNs 相对于 2D CNNs 的准确性优势。此外，我们还表明把 3D 卷积滤波器分解成单独的时空分量会显著提高准确性。最终，我们设计了一个新的时空卷积块 “R (2+1) D”，这种方法产生的 CNN 的结果与最新技术相当甚至更好，可以在 Sports-1M、Kinetics、UCF101 和 HMDB51 数据集上取得更好的表现。

Nov, 2017

时序段网络：深度动作识别的良好实践

本文提出了一种新的视频动作识别框架 - TSN，并探究了在时间段网络的帮助下学习 ConvNet 模型的一系列良好实践策略。实验结果表明，本方法在 HMDB51（69.4%）和 UCF101（94.2%）数据集上取得了最先进的性能。我们还可视化了学习到的 ConvNet 模型，定性展示了时间段网络和所提出良好实践的有效性。

Aug, 2016