Nov, 2017

注意力聚类：基于纯注意力的局部特征融合用于视频分类

PDF
TL;DR通过研究视频分类的常见数据集，本文提出了一种注意力集群的本地特征融合框架，并引入一种转移操作来捕获更多样化的信号，证明了这种基于注意力的本地特征融合的有效性，该算法在三个真实世界的视频分类数据集上都取得了竞争性的结果，并在 ActivityNet Kinetics Challenge 2017 中荣获胜利。
video classificationattention-based feature integrationtemporal patternscnnsrnns
发现论文，激发创造
  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • 视频分类的混合深度学习框架中建模时空线索

    本文提出了一种混合式深度学习框架，旨在对视频的静态空间信息、短期运动以及长期时间线索进行建模，并且在 UCF-101 人体动作和 Columbia 消费者视频两个标注数据集上实验，结果表明该框架相对于传统策略具有更高的性能.

    Apr, 2015

  • AttentionNAS: 基于时空注意力单元搜索的视频分类

    提出一种新的用于搜索空间时间关注单元的方法，可以用于改善现有的骨干网络（如 I3D 或 S3D）中的视频分类精度，并在 Kinetics-600 和 MiT 数据集上超过 2％。

    Jul, 2020

  • 基于注意力的多模态融合视频描述

    本文提出了一种称为多模态注意力的方法，可以针对图像特征、运动特征和音频特征进行选择性关注，以促进视频描述的多模态信息融合，并在 Youtube2Text 数据集上取得了竞争状态 - of-the-art 的结果。

    Jan, 2017

  • 关注激活：用于细粒度图像识别的模块化注意机制

    本文提出利用注意力机制在卷积特征激活层面上进行细粒度图像识别，相对于传统方法，在不需要部分标注的情况下使用低层次特征进行输出概率分配，并在 CIFAR-10、Adience gender recognition task、Stanford Dogs 和 UEC-Food100 等数据集上取得了最先进的分类精度。

    Jul, 2019

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 一个基于混合深度学习框架的视频分类多模态信息建模模型

    本文研究如何利用多模态线索来改进视频分类。我们提出了一个混合的深度学习框架，它将静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索集成起来，以捕捉它们之间的关系，并通过多次实验表明，该框架可以提高视频分类的准确度。

    Jun, 2017

  • 用于时空视觉注意的循环混合密度网络

    本研究提出了一种基于高斯混合模型的时空注意力模型，并使用人类注视数据进行训练，相比先前的方法，该模型在影片显著性预测方面具有最先进的表现，并在动作分类准确性方面取得了改进。

    Mar, 2016

  • 时空关注的两流协同学习用于视频分类

    本论文提出了一种适用于视频分类的两流协作学习方法，采用空间 - 时间注意力模型实现了针对视频中静态和动态信息的协同学习，以提取出区分度更强的特征向量，实验结果表明，该方法在各项性能指标上均优于其他 10 多种最先进的方法。

    Nov, 2017

  • 深度本地视频特征用于动作识别

    探讨使用 CNN 特征表示整个视频以用于人类动作识别的问题，通过提取局部特征并将它们聚合成全局特征，将另一个映射函数用于将全局特征映射到全局标签

    Jan, 2017