Jul, 2016

VideoLSTM 卷积、注意和流用于动作识别

PDF
TL;DR该研究提出了一种适用于视频动作的端对端序列学习的新型结构，名为 VideoLSTM。通过硬连线卷积和基于动作的关注力，结合仅动作类别标签的注意力，VideoLSTM 能够用于动作本地化，并在行为分类和本地化的挑战数据集上进行实验和比较。
videolstmsequence learningsoft-attention lstmmotion-based attentionaction localization
发现论文，激发创造
  • 基于格子长短期记忆的人类动作识别

    L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

    Aug, 2017

  • 使用视觉注意力进行动作识别

    本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

    Nov, 2015

  • Two Stream LSTM：人类动作识别的深度融合框架

    本文主要介绍了基于卷积神经网络和 LSTM 神经网络的动作识别方法，实验证明本文提出的多流融合模型可以有效地提高识别准确率。

    Apr, 2017

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 使用 LSTMs 进行视频表示的无监督学习

    使用多层 LSTM 网络来学习视频序列的表示，采用编码器 LSTM 将输入序列映射成固定长度的表示，通过单个或多个解码器 LSTM 解码以执行不同的任务，如重构输入序列或预测未来序列，实验说明预先训练好的模型在人类动作识别等任务上的有效性。

    Feb, 2015

  • 基于 LSTM 和 CNN 的骨架动作识别

    该研究使用 3D 骨架数据和卷积神经网络 (CNN) 和长短期记忆 (LSTM) 方法进行 3D 人体行为分析，证明 CNN 和 LSTM 的分数融合方法可以更有效地捕获空间 - 时间信息，并在 NTU RGB+D 数据集上取得了最先进的结果，在深度视频中的大规模 3D 人体动作分析挑战中排名第一。

    Jul, 2017

  • 基于卷积 LSTM 的未来语义分割

    本文提出了一种新的模型，使用 ConvLSTM 编码观察到的视频帧的时空信息来预测未观察到的未来帧的语义分割图，并扩展了双向 ConvLSTM 来捕获双向的时间信息，该方法在基准数据集上优于其他最先进的方法，为实时决策制定提供了可靠的解决方案。

    Jul, 2018

  • 行动识别的长期时间卷积

    通过使用长时序卷积神经网络和高质量的光流估计，该研究获得了 UCF101 和 HMDB51 数据集上最先进的人类动作识别结果，具备良好的行为表示和准确性。

    Apr, 2016

  • 利用深度神经网络进行大规模 YouTube-8M 视频理解

    本文基于 YouTube-8M 大规模数据集，提出了三种视频分类模型，分别基于帧池化和 LSTM 网络，第三个模型使用 Experts 混合中间层以增加模型容量，并进行了一系列处理不平衡训练数据的实验。

    Jun, 2017

  • 卷积张量列车长短时记忆网络用于时空学习

    本文提出了一种高阶卷积 LSTM 模型和一种新的张量列车模块，可以有效地学习视频序列中的长期时空相关性，并通过结合时间上的卷积特征进行预测，通过张量列车分解降低了模型复杂度，取得了广泛应用和数据集上的最佳表现。

    Feb, 2020