视频中的时间动作检测引导进展

Aug, 2023

Progression-Guided Temporal Action Detection in Videos

Chongkai Lu, Man-Wai Mak, Ruimin Li, Zheru Chi, Hong Fu

TL;DR我们提出了一个新的框架 —— 动作进化网络（APN），用于视频中的时间动作检测（TAD）。该框架通过检测动作演化过程来定位视频中的动作，并通过训练神经网络来识别动作进程。该框架具有三个主要优势：(1) 我们的神经网络端到端地训练，与优化单独模块的传统方法相反；(2) APN 仅使用动作帧进行训练，使模型能够在动作分类数据集上训练并对背景风格与训练不同的视频具有鲁棒性；(3) 我们的框架通过精细和明确地对时间结构进行编码，有效避免了检测不完整的动作，并在检测持久的动作方面表现出色。凭借这些优势，APN 在检测持久的动作方面取得了竞争性的性能，并且明显优于其他方法。在 0.5 的 IoU 阈值下，APN 在 THUMOS14 数据集上达到了 58.3％的均值平均精度（mAP），在 DFMAD70 数据集上达到了 98.9％的 mAP。

Abstract

We present a novel framework, action progression network (APN), for temporal action detection (TAD) in videos. The framework locates actions in videos by detecting the action evolution process. To encode the acti

action progression network temporal action detection action evolution process neural network long-lasting actions

发现论文，激发创造

视频中行为进度的预测

该研究提出了一种名为 ProgressNet 的新方法，将 Faster R-CNN 框架与 LSTM 网络相结合，能够准确地预测视频中执行动作的进度，也在两个视频数据集上进行了实验证明。

May, 2017

后处理时间性行为检测

本研究旨在解决现有时间序列动作检测算法常常在预处理阶段对视频进行下采样和采样恢复所带来的时间量化误差问题，并介绍了一种新的基于高斯分布的模型无关的后处理方法，称为 Gaussian Approximated Post-processing (GAP)，通过此方法可以在子片段级别上实现时间边界推断，在多项挑战性基准测试中，GAP 已经被证明可以显著提高各种预训练 TAD 模型的性能，并且可以与模型训练集成以进一步提高性能。

Nov, 2022

基于时间提案演化的精准时间动作定位

提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

Apr, 2018

增强即时可辨性的时间动作定位

基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

Sep, 2023

上下文感知提议网络用于时间动作检测

本技术报告介绍了我们在 CVPR-2022 AcitivityNet 挑战赛中获取的第一名的解决方案，该解决方案旨在为长型未修剪视频中的特定类别的动作实例定位时间边界，并且通过提出 Context-aware Proposal Network (CPN) 等创新技术，在提高精度方面大有改进。

Jun, 2022

STEP: 视频动作检测的时空渐进学习

本文提出了一个逐步学习的动作检测框架，通过逐步改善提取物体框的精度以捕获视频中的动作。我们在 UCF101 和 AVA 数据集上验证了该框架，获得了显著的检测结果。

Apr, 2019

TDN：高效行为识别的时序差分网络

本文提出了一种新的视觉结构，称为 Temporal Difference Network (TDN)，其核心是通过一个高效的 Temporal Difference Module (TDM) 来捕获多尺度信息，以提高动作识别的效率。在 Something-Something V1＆V2 数据集上，TDN 呈现了一个新的最高水平，并且与 Kinetics-400 数据集上的最佳性能持平，同时我们还对 TDN 进行了深入的消融研究和可视化结果的绘制，为时序差分建模提供了全面的分析。

Dec, 2020

一项关于端到端时间动作检测的实证研究

本文介绍了一种基于端到端学习的方法进行时间动作检测，相对于只有检测头优化的方法，端到端学习可以带来多达 11% 的性能改进，并针对影响 TAD 性能和速度的多种设计选择进行了深入研究，并提出了更高效的检测器。

Apr, 2022

单次拍摄的时间动作检测

该研究提出了一种基于 1D 时间卷积层的单次动作检测器（SSAD）网络来直接检测未修剪视频中的动作实例以提高检测精度。在改进检测精度的过程中，它探讨了输入特征类型和融合策略，并在两个具有挑战性的数据集上进行了广泛的实验，证明了在 THUMOS 2014 和 MEXaction2 的评估过程中，SSAD 的 mAP 比其他最先进的系统增加了很多。

Oct, 2017

时间动作检测的关系网络提案

本技术报告介绍了我们在 AcitivityNet 2021 挑战赛中针对时间动作检测任务提出的解决方案。我们通过使用 BMN、slowfast、CSN 和 ViViT 等方法来进行动作分类和特征编码，改进 BMN 算法的提案生成和行为检测以及不同设置下的结果综合，最终在测试集中取得 44.7% 的平均 mAP，相较于 ActivityNet 2020 冠军成绩提高了 1.9%。

Jun, 2021