对时序动作定位模型的数据效率和计算效率进行基准测试

ICCVAug, 2023

对时序动作定位模型的数据效率和计算效率进行基准测试

Benchmarking Data Efficiency and Computational Efficiency of Temporal Action Localization Models

Jan Warchocki, Teodor Oprescu, Yunhan Wang, Alexandru Damacus, Paul Misterka...

TL;DR本文研究了时间动作定位中当前深度学习模型在数据和计算能力受限制的情况下的性能表现，并发现 TemporalMaxer 模型在数据受限情况下表现最佳，推荐 TriDet 模型在训练时间受限时使用。另外，通过将不同长度的视频输入模型进行推理，发现 TemporalMaxer 模型需要较少的计算资源，可能是由于其简单的架构造成的。

Abstract

In temporal action localization, given an input video, the goal is to predict which actions it contains, where they begin, and where they end. Training and testing current state-of-the-art deep learning models re

temporal action localization deep learning models data efficiency computational power temporalmaxer

发现论文，激发创造

探究用于时序动作定位的更强特征

本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

Jun, 2021

诊断时间行为检测器中的错误

本文提出了一种新的诊断工具，以分析视频中时间动作检测器的性能并比较不同方法的效果，该工具可以帮助研究人员改进处理关于时间动作检测中的问题，例如如何更好地处理时间上下文问题以及如何提高对实例绝对和相对大小的稳健性等问题。另外，该实验分析发现，标注者之间的不一致并不是在领域取得进展的主要障碍。

Jul, 2018

使用深度度量学习进行弱监督时序动作定位

本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

Jan, 2020

使用多阶段 CNN 在未修剪的视频中进行时间动作定位

本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

Jan, 2016

用于行为识别的异步时间场

提出了一种基于完全连接的时间条件随机场模型，用于推理各个活动方面，包括对象、动作和意图，其中潜在函数由深层网络预测；而异步变分推理方法使得高效的端到端训练成为可能，该方法在 Charades 基准测试中达到了 22.4％的分类 mAP，超过了现有技术 (17.2％mAP)。

Dec, 2016

只有时间能告诉我们：发现用于时间建模的时间数据

该研究通过构建一个基于 ' 时间数据集 ' 的分类器来研究理解视觉世界如何随时间变化以及在视频理解中，Temporal 与 Static Action Classes 的区别；并表明更多的时间数据可以帮助提高模型性能。

Jul, 2019

重新审视现成的时间模型在大规模视频分类中的有效性

这篇论文介绍我们在 ActivityNet Kinetics 挑战赛中获得第一名的视频识别任务的解决方案。我们使用 DevNet 框架进行特征提取，然后使用四种不同的时间建模方法，在 Kinetics 数据集上取得了显著的表现提升。

Aug, 2017

动作搜索：在视频中识别动作及其在时间动作定位中的应用

本文提出了基于观察视频小部分来查找视频中特定动作的新问题：视频中的动作识别，并使用递归神经网络模仿人类查找动作的方式，同时建立了 Human Searches 数据集，从中得到人类注释者的行为数据，用于解决动作识别中缺乏数据的问题，实验表明，该模型不仅能够在观察视频的平均 17.3％的情况下高效地探索视频，还能以 30.8％的平均精度准确地找到人类活动。

Jun, 2017

行动分割需要多少时间长期上下文？

通过引入基于 Transformer 的模型来利用稀疏注意力捕捉视频的全部上下文，本研究比较了当前三个时序动作分割数据集（即 50Salads、Breakfast 和 Assembly101）上的最新模型，在实验中证明了对于时序动作分割，建模视频的全部上下文是必要的以获得最佳性能。

Aug, 2023

基于结构最大化和时间的行为定位

本研究解决视频中时间段行动定位的问题，使用结构化预测来对任意长度的时间窗口进行评分，同时将每个行动的开始、中间和结束作为单独的组件进行分类，从而明确地建模每个行动的时间演变并利用该结构中存在的有价值的时间依赖关系，最后通过使用深度卷积神经网络来计算帧分类分数，并针对新颖的结构化目标进行端到端的训练以直接优化分类结果。在 THUMOS14 行动检测基准测试中，本系统表现出竞争力。

Apr, 2017