关系动作预测

CVPRApr, 2019

Relational Action Forecasting

Chen Sun, Abhinav Shrivastava, Carl Vondrick, Rahul Sukthankar, Kevin Murphy...

TL;DR本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

Abstract

This paper focuses on multi-person action forecasting in videos. More precisely, given a history of H previous frames, the goal is to detect actors and to predict their future actions for the next T frames. Our approach jointly models temporal and spatial interactions among different a

multi-person action forecasting recurrent graph faster r-cnn discriminative relational recurrent network action prediction

发现论文，激发创造

基于序列关系预测模型的群体活动预测

本研究提出一种基于序列关系预测模型的组活动预测方法，该模型可以总结部分观测数据中的关系动态并逐步预测具有区分性信息的群体表示，通过两种图形自编码器预测活动特征和位置，并在实验中取得了显著的预测效果。

Aug, 2020

演员中心关系网络

模型人与场景、物体之间的关系有助于精细化人类行为的区分，有别于现有 3D ConvNets 的方法，而采用 actor-centric relational network 以弱监督方式自动挖掘相关要素计算 pair-wise relation，实现 state-of-the-art 表现。

Jul, 2018

在线动作检测的时序循环网络

本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

Nov, 2018

时空动作定位的关系建模

本文提出一种用于动作识别的多类型关系建模方法，并采用训练策略将多种关系建模集成到两个大规模视频数据集的端对端训练中去。同时，结合记忆库的学习和面向长尾数据分布的微调方法，以进一步提高性能，最终在 AVA-Kinetics 测试集中实现了 40.67 mAP 的成绩。

Jun, 2021

使用视觉注意力进行动作识别

本文提出一种基于 soft attention 的模型，用于对视频中的动作进行识别，该模型使用多层循环神经网络 (RNNs) 和长短期记忆 (LSTM) 单元，学习有选择地专注于视频帧的某些部分，通过几个瞥见来对视频进行分类。该模型主要学习帧中哪些部分与目标任务相关，并赋予它们更高的重要性。我们在 UCF-11 (YouTube Action)、HMDB-51 和 Hollywood2 数据集上评估了该模型，并分析了模型在不同场景和不同动作下注意力的聚焦。

Nov, 2015

预测未来：联合学习模型用于行动预测

本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

Dec, 2019

动作无关的人体姿势预测

本文提出了一种新的不考虑活动标签的短期和长期人体姿势预测方法，使用一种新的循环神经网络模型 —— 三角棱镜循环神经网络，该模型通过编码不同时间尺度的时间依赖性来捕获潜在的分层结构，经在 Human 3.6M 和 Penn Action 数据集上进行了广泛的实验，证明了本方法在数量和质量上均优于基线和最先进的方法。

Oct, 2018

动作识别的记忆增强时序动态学习

提出了一种记忆增强的时间动态学习网络，利用差分记忆控制器将最显著的信息写入外部存储器，并忽略不相关的信息，增强了动作识别的效果。

Apr, 2019

用于行为识别的异步时间场

提出了一种基于完全连接的时间条件随机场模型，用于推理各个活动方面，包括对象、动作和意图，其中潜在函数由深层网络预测；而异步变分推理方法使得高效的端到端训练成为可能，该方法在 Charades 基准测试中达到了 22.4％的分类 mAP，超过了现有技术 (17.2％mAP)。

Dec, 2016

视频帧瞥片段的端到端动作检测学习

该研究提出了一种直接预测动作时间边界的完全端到端的方法，其中模型作为一个基于循环神经网络的智能体与视频交互，并使用 REINFORCE 来学习决策策略，取得了 THUMOS'14 和 ActivityNet 数据集的最先进结果。

Nov, 2015