ECCVJul, 2022

面向高效视频识别的时间显著性查询网络

PDF
TL;DR提出一种新的时序显著性查询机制，引入类别特定信息为显著性测量提供精细线索，并在 TSQNet 中实现了两种检索机制和跨模态交互，从而解决现有技术对类别的不确定性和上下文缺失等问题，并在 ActivityNet，FCVID 和 Mini-Kinetics 数据集上获得了最好的成果。
efficient video recognitionclass-specific saliencytemporal saliency querytsqnetcross-modality interactions
发现论文，激发创造
  • 时间查询网络用于细粒度视频理解

    本文介绍了一种基于 Temporal Query Network 的时空查询机制，通过稠密采样与随机特征库更新方式实现了对细粒度行为的分类，最终在 FineGym 和 Diving48 的数据集上达到了当前最佳效果。

    Apr, 2021

  • NSNet：用于高效视频识别的非显著性抑制采样器

    该研究提出了一种有效的非显著性抑制网络 (NSNet)，该网络可以在硬件计算速度低下的情况下实现高精确度的视频识别。通过在帧级别生成伪标签，并在视频级别上学习时间注意，NSNet 有效地抑制了非关键帧的响应，并取得了显著的时间和效率改进。

    Jul, 2022

  • 动态显著性预测的时空显著性网络

    本研究提出了基于深度学习的时空注意力预测模型，其中采用两条流网络架构，探究了不同的信息融合机制。实验结果表明，采用运动信息可以有助于静态注意力估计，并取得了与最先进模型相竞争的结果。

    Jul, 2016

  • TSI：用于视频动作识别的时间显著性整合

    本文提出了一种基于 Temporal Saliency Integration (TSI) 块的运动识别方法，其中主要包含了 Salient Motion Excitation (SME) 模块和 Cross-perception Temporal Integration (CTI) 模块，通过这两个模块，可以高效地编码长短时序关系。

    Jun, 2021

  • 基于全卷积网络的视频显著对象检测

    本文提出了一个深度学习模型，通过数据增强技术和动态显著性模型来高效地检测视频中的显著区域，该模型在 DAVIS 和 FBMS 数据集上达到了最新的性能标准。

    Feb, 2017

  • 视频人物再识别的时空互补学习

    本文提出了一种时序补充学习网络，旨在提取连续视频帧的补充特征，用于视频中的人员再识别，并通过时序显著性抹除和增强模块，有效地实现信息增强和丢失的平衡，实验结果表明其优于现有技术。

    Jul, 2020

  • 探索用于实时视频显著性目标检测的丰富和高效的时空交互

    本文提出了一种新颖的时空网络来提高视频显著性检测的性能，通过将轻量级的时间模型整合到空间分支中，粗略定位与值得信赖的显著运动相关的空间显著区域，同时，空间分支本身能够多尺度地反复改善时间模型，从而使空间和时间分支能够互相交互，实现相互性能提高。我们的方法易于实现且有效，在实时速度下以 50 FPS 实现高质量的视频显著性检测。

    Aug, 2020

  • 质量感知相关性估计的查询自适应视频摘要

    该研究利用神经网络诱导的文本视觉语义嵌入空间，将查询相关汇总作为视频帧子集选择问题进行提出，该方法在多个方面优于先前的技术，并引入具有多样性和查询特定相关性标签的新数据集进行模型训练和测试。

    May, 2017

  • 视频问答中基于密集字幕匹配和帧选择门控的时间定位

    本文提出了一种视频问答模型，它有效地集成了多模态输入源并从中找到临时相关信息以回答问题，该模型包括多种设计方法，包括基于稠密图像标题的对象及其详细显著区域和动作识别，双重关注，跨集成和引入了带有人类重要性注释来更好地监督模型的两个损失函数的门控，这个模型在多个数据集上的表现优于现有的技术。

    May, 2020

  • 视频语义分割的时间记忆注意力

    该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

    Feb, 2021