MMAug, 2023

长视频中高效的视频识别：在移动时观察

PDF
TL;DR基于 “移动中观察” 新的识别范例，相比于传统的分阶段范例，以更高的效率融合粗粒度采样和细粒度识别的统一时空建模，并通过层次化机制高效捕获、推断长剪辑视频中的单位级和视频级时间语义，实现了新的视频时空建模效率与准确性的权衡。
adaptive methodsvideo recognitionefficiencycomputation optimizationspatiotemporal modeling
发现论文，激发创造
  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 一次性进行的无监督运动分割：对视频进行平滑长期建模

    提出了一种基于长期时空模型的运动分割方法，该方法通过处理光流场序列，以无监督学习的方式提供视频中一致运动的分段，为计算机视觉任务和无监督视频表示学习提供了先决条件。

    Oct, 2023

  • 基于提议的未修剪视频时空动作检测解决方案

    本文提出了一种基于对象检测的两阶段模块化系统，用于在未裁剪的安全视频中进行时空动作检测，第一阶段使用层次聚类和时间抖动技术生成稠密的时空建议，第二阶段是一个 TRI-3D 网络，在生成的提议上执行动作分类和时态细化。实验结果表明本文提出的方法在区分不同时长、空间尺度范围内的动作检测方面效果显著。

    Nov, 2018

  • FrameExit：面向高效视频识别的条件式提前退出

    本文提出了一种条件早期退出框架，它采用简单的采样策略和级联的门控模块来自动决定处理最早推理的时点，在需要的情况下提供实时监督信号来提供精度和计算成本之间的动态权衡，以实现高效的视频识别。该方法在三个大规模视频基准测试中均优于竞争方法，在 ActivityNet1.3 和 mini-kinetics 上甚至具有 1.3 倍和 2.1 倍的计算成本降低。此外，该方法在 HVU 基准测试上确立了高效视频理解的新状态。

    Apr, 2021

  • 通过音频预览实现动作识别

    提出了一种在未剪辑视频中使用音频作为预览机制来实现高效行为识别的框架，通过减少短期和长期视觉冗余来达到高效的视频识别，进一步提出了基于注意力机制的长短时记忆网络，通过在视频中选择有用的片段，使得该方法在行动识别方面取得了最先进的成果。

    Dec, 2019

  • 从未修剪的视频中单时间戳监督的动作识别

    使用单个时间戳代替昂贵的包含行动界限的监督信息，通过不断更新采样分布，进而使其收敛至判别性行动段的位置和范围，从而取得良好的视觉识别效果。

    Apr, 2019

  • SCSampler：用于高效行为识别的视频显著片段采样

    本文介绍了一种轻量级的 “剪辑采样” 模型，可在长视频中高效识别最显著的时间片段，将行动识别的计算成本显著降低，同时提高识别准确性。

    Apr, 2019

  • 迈向长型视频理解

    本研究通过开发评估协议和引入一种基于对象为中心的变压器视频识别架构，针对大规模数据集进行长型视频理解任务的研究，并展示了其在 7 项不同任务上的性能显著优于现有短期模型的结果，同时在 AVA 数据集上也优于可比较的最新研究成果。

    Jun, 2021

  • 学习移动物体的分割

    本文提出了一种基于神经网络的视频分割方法，用于区分视频帧中独立运动的物体，并利用对象运动、外观和时间一致性等多个信息源，通过对数据进行训练得到模型，经过评估表明该模型在 DAVIS、Freiburg-Berkeley 运动分割数据集和 SegTrack 等数据集上表现良好。

    Dec, 2017

  • MeMSVD: 使用增量 SVD 捕捉长程时域结构

    这篇研究论文讨论了长期视频理解的问题，提出了一种基于低秩逼近的方案来解决注意力机制的复杂性和内存存储问题，并通过大量实验验证了该方案在不同架构和任务上的优越性。

    Jun, 2024