用于行为识别的异步时间场

Dec, 2016

Asynchronous Temporal Fields for Action Recognition

Gunnar A. Sigurdsson, Santosh Divvala, Ali Farhadi, Abhinav Gupta

TL;DR提出了一种基于完全连接的时间条件随机场模型，用于推理各个活动方面，包括对象、动作和意图，其中潜在函数由深层网络预测；而异步变分推理方法使得高效的端到端训练成为可能，该方法在 Charades 基准测试中达到了 22.4％的分类 mAP，超过了现有技术 (17.2％mAP)。

Abstract

Actions are more than just movements and trajectories: we cook to eat and we hold a cup to drink from it. A thorough understanding of videos requires going beyond appearance modeling and necessitates reasoning about the sequence of activities, as well as the higher-level constructs such as intentions. But how do we model and reason about these? We propose a

video understanding activities modeling temporal crf model deep network asynchronous variational inference

发现论文，激发创造

通过时间动作解析实现内部和外部交互理解

使用 TAPOS 数据集，针对深度学习在运动识别中的限制，提出了一种改进的时序划分方法，能挖掘出运动过程中的子动作信息，从而有效提高识别性能。

May, 2020

Timeception 用于复杂动作识别

该研究聚焦于利用具有重要视觉作用的时间因素识别视频中的人类活动。研究回顾了传统活动定义，提出限定为特定目的的一系列动作的复杂动作。研究提出了具有时域感知特性的卷积神经网络，并取得了在 Charades、Breakfast Actions 和 MultiTHUMOS 数据集上的高准确率，表明可用于实际应用中。

Dec, 2018

高时间分辨率行动识别序列建模

本文介绍了一个新数据集 StrokeRehab，旨在解决机器学习中的一个重要问题，即从视频和运动数据中识别出细微的运动，提出了一种以语音识别技术为灵感的基于序列到序列模型的高分辨率动作识别方法，并在 StrokeRehab 数据集以及标准测试数据集 50Salads，Breakfast 和 Jigsaws 上取得了当前最优的结果。

Nov, 2021

用于长距离视频理解的时间聚合表示

本文提出了一种灵活的多粒度时间聚合框架，用简单的技术如最大池化和注意力实现了最新的下一步行动和密集预测，并在 Breakfast，50Salads 和 EPIC-Kitchens 数据集上取得了最新的实验结果，且兼容于视频分割和动作识别。

Jun, 2020

活动识别的时间推理图

本文提出了一种高效的时间推理图 (TRG), 用于同时捕捉视频序列之间的外观特征和时间关系。通过构建可学习的时间关系图来探索多尺度范围上的时间关系。在多头时间邻接矩阵的帮助下，提出了一个多头时间关系聚合器来提取那些通过图卷积计算的特征的语义含义。实验证明，通过我们的 TRG 进行时间关系推理可以提取用于活动识别的判别特征。

Aug, 2019

关系动作预测

本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

Apr, 2019

动作识别中的 Transformer: 时序模型综述

本文主要介绍了基于 transformers 模型的深度学习方法，用于模拟时间上的变化进行动作识别的研究进展和应用挑战。

Dec, 2022

探索视频动作识别中的可解释性

我们提出了一个用于研究动作识别假设并定量测试的框架，从而推进视频动作识别中深度神经网络的可解释性研究。

Apr, 2024

重新思考 Faster R-CNN 架构，用于时间段行为定位

介绍了基于 Faster R-CNN 的 TAL-Net 方法，通过多尺度架构、适当扩展感受野、多流特征融合等方式改进了视频中的时间动作定位，实现了在 THUMOS'14 目标检测基准和 ActivityNet 挑战赛中的平均最优表现。

Apr, 2018

使用视觉注意力进行动作识别

本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

Nov, 2015