Apr, 2015

视频分类的混合深度学习框架中建模时空线索

PDF
TL;DR本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.
video classificationdeep learningcnnlstmtemporal clues
发现论文，激发创造
  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • Two Stream LSTM：人类动作识别的深度融合框架

    本文主要介绍了基于卷积神经网络和 LSTM 神经网络的动作识别方法，实验证明本文提出的多流融合模型可以有效地提高识别准确率。

    Apr, 2017

  • 融合多路深度网络进行视频分类

    本研究提出了一种多流深度网络架构，用于解决视频分类问题。通过训练三种卷积神经网络来建模视频中的空间、短期动态和音频线索，并采用长短期记忆网络来探索长期时间动态，最终通过自适应融合方法生成预测结果，将多模态信息充分利用。实验证明，该方法的性能明显优于现有的方法。

    Sep, 2015

  • 超越短片段：用于视频分类的深度网络

    本论文提出和评估了几个深度神经网络架构，用于对比以往更长时间段内视频图像信息的组合。通过一些新的方法，包括卷积时间特征池化和循环神经网络结构，该论文指出最佳神经网络在 Sports 1 million 数据集（73.1％对 60.9％）和 UCF-101 数据集中（88.6％对 88.0％）及无附加光流信息（82.6％对 72.8％）上明显性能提高。

    Mar, 2015

  • 时空关注的两流协同学习用于视频分类

    本论文提出了一种适用于视频分类的两流协作学习方法，采用空间 - 时间注意力模型实现了针对视频中静态和动态信息的协同学习，以提取出区分度更强的特征向量，实验结果表明，该方法在各项性能指标上均优于其他 10 多种最先进的方法。

    Nov, 2017

  • 重新思考时空特征学习：视频分类的速度和准确性权衡

    本研究通过优化设计网络结构，系统地探讨了关键网络设计选择，包括将大量 3D 卷积替换为低成本的 2D 卷积、可分离的空间 / 时间卷积和特征门控等，进而建立了一个有效而高效的视频分类系统。实验表明本文方法不仅速度更快，而且在行动分类基准测试（Kinetics、Something-something、UCF101 和 HMDB）以及两个行动检测（本地化）基准测试（JHMDB 和 UCF101-24）中的分类效果也比其他方法更有竞争力。

    Dec, 2017

  • 视频动作识别的协作时空特征学习

    本文提出了一种新颖的神经操作，通过在三个正交视图上进行 2D 卷积，协同编码了时空特征，并通过权值共享来促进空间和时间特征的学习，此方法在大规模基准测试中取得了最优性能，并通过对不同视图学习的系数进行量化，探讨了空间和时间特征的贡献，以提高模型的解释性并指导视频识别算法的设计。

    Mar, 2019

  • STFCN：用于语义视频分割的时空 FCN

    本文提出了一种包括时空特征的方法来解决语义视频分割问题，使用卷积神经网络和长短时记忆结构相结合的深度学习模型取得了 Camvid 和 NYUDv2 数据集的最先进语义分割性能。

    Aug, 2016

  • 基于卷积双流网络融合的视频动作识别

    为了最好地利用时空信息，我们研究了在空间和时间上融合 ConvNet 塔的多种方法，并发现在卷积层融合空间和时间网络而不是在 softmax 层融合可以大大减少参数。我们提出了一种新的 ConvNet 架构，以融合视频片段的空时信息，并在标准基准测试中评估了其性能，该架构达到了最先进的结果。

    Apr, 2016

  • 解读视频特征：3D 卷积网络和卷积 LSTM 网络的比较

    探索了 3D 卷积网络和卷积 LSTM 网络在时空依赖帧中的特性，并通过将意义扰动引入时间维度的方式，确定了网络分类决策时最有意义的时间部分。研究发现，3D 卷积模型更关注较短的事件，并将其空间焦点放在较少的连续区域。

    Feb, 2020