Jul, 2018

相关网络：用于动作识别的时空多模态深度学习

PDF
TL;DR本文介绍了一种网络，能够在任意时间戳上捕获多模态相关性，通过用莎侬融合法扩展了多模态卷积神经网络，提出了用相关网络学习预先训练的卷积神经网络的方法，并在 UCF-101 和 HMDB-51 数据集上进行实验，结果显示多模态相关性能够提高视频识别结果的准确性。
multimodal correlationsconvolutional neural networkaction recognitioncorrelation networkvideo recognition
发现论文，激发创造
  • 使用相关网络的视频建模

    该文提出了一种基于可学习相关算子的替代方法，用于在视频中识别动作，并成功地应用在行为识别的多个数据集上，表现比流行的二元网络更加出色并且速度更快。

    Jun, 2019

  • 基于相关性学习的多目标跟踪

    本文提出了基于局部相关性模块的密集对应和可学习相关算子来增强模型的判别能力和对时间上下文的捕捉能力，从而在多目标跟踪方面取得了最先进的效果，并在 MOT17 数据集上实现了 76.5% 的 MOTA 和 73.6% 的 IDF1。

    Apr, 2021

  • 视频动作识别的时空金字塔网络

    提出了一种新的空时金字塔网络，将空间和时间特征以金字塔结构融合，从而加强彼此。使用紧凑的双线性运算符实现高效训练的双线性融合操作，最终网络在标准视频数据集上取得了最先进的结果。

    Mar, 2019

  • 从时间数据中进行深度多模态表征学习

    本文介绍了一种名为 Correlational Recurrent Neural Network（CorrRNN）的神经网络模型，该模型将多种时间序列数据进行合并，通过同时学习联合表示和模态之间的时间依赖关系来优化预测性能，并使用多个损失项和注意力模型来调整模态之间的贡献。实验证明了该模型在各种数据集上表现优越。

    Apr, 2017

  • 时空通道相关网络用于动作分类

    本文提出了一种新的 3D CNN 块，名为 “Spatio-Temporal Channel Correlation”，用于模拟 3D CNN 的通道之间的相关性，以提高视频识别性能，并提出了一种简单且有效的迁移学习技术，用于从预先训练的 2D CNN 向 3D CNN 传递知识。通过在当前最先进的架构上嵌入 STC 块，我们将视频识别性能提高了 2-3％，在三个常用数据集上的实验结果表明，加入 STC 块的方法优于现有最先进的方法。

    Jun, 2018

  • 基于卷积双流网络融合的视频动作识别

    为了最好地利用时空信息，我们研究了在空间和时间上融合 ConvNet 塔的多种方法，并发现在卷积层融合空间和时间网络而不是在 softmax 层融合可以大大减少参数。我们提出了一种新的 ConvNet 架构，以融合视频片段的空时信息，并在标准基准测试中评估了其性能，该架构达到了最先进的结果。

    Apr, 2016

  • 视频动作识别的协作时空特征学习

    本文提出了一种新颖的神经操作，通过在三个正交视图上进行 2D 卷积，协同编码了时空特征，并通过权值共享来促进空间和时间特征的学习，此方法在大规模基准测试中取得了最优性能，并通过对不同视图学习的系数进行量化，探讨了空间和时间特征的贡献，以提高模型的解释性并指导视频识别算法的设计。

    Mar, 2019

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • Two Stream LSTM：人类动作识别的深度融合框架

    本文主要介绍了基于卷积神经网络和 LSTM 神经网络的动作识别方法，实验证明本文提出的多流融合模型可以有效地提高识别准确率。

    Apr, 2017