视频动作检测的长短期关系网络

MMMar, 2020

Long Short-Term Relation Networks for Video Action Detection

Dong Li, Ting Yao, Zhaofan Qiu, Houqiang Li, Tao Mei

TL;DR本文提出了一种新的长短期关系网络（LSTR），通过空时注意机制建模视频内的短期人类 - 背景关系，并通过级联方式使用图卷积网络（GCN）推理长期时空动态，从而增强视频动作检测的特征表现。在四个基准数据集上进行广泛实验，与现有方法相比，取得了优异的结果。

Abstract

It has been well recognized that modeling human-object or object-object relations would be helpful for detection task. Nevertheless, the problem is not trivial especially when exploring the interactions between human actor, object and scene (collectively as human-context) to boost video action detectors. The difficulty originates from the aspect that reliabl

video action detection human-object relations long-term temporal dynamics spatio-temporal attention mechanism graph convolutional networks

发现论文，激发创造

基于格子长短期记忆的人类动作识别

L2STM 是一种通过学习独立的隐藏状态转移来增强模型的时间动力学建模能力以及解决长期时间动态不稳定的问题的方法，结合多模态训练程序，在人类动作识别方面表现优于现有的基于 LSTM 和 / 或 CNN 的方法。

Aug, 2017

在线动作检测的长短期 Transformer

提出了一种长短时 Transformer（LSTR）算法，用于在线动作检测，它采用了长短时记忆机制来建模长序列数据，其中编码器动态地利用拓展的时间窗口的历史信息，解码器专注于一个短时间窗口来建模数据的细节特征。与先前的工作相比，LSTR 提供了一种有效且高效的建模长视频的方法，其在三种标准的在线动作检测基准测试（THUMOS'14、TVSeries 和 HACS Segment）上实现了最先进的性能。

Jul, 2021

基于动作驱动的视频目标检测的时间动态图 LSTM

本文研究了一种弱监督目标检测框架，通过使用视频和动作描述作为监督信号，并提出了一种基于时间动态图长短期记忆网络的新方法来解决视频中缺失标签等问题，并在 Charades 数据集上进行了广泛的评估，证明了该方法的优越性。

Aug, 2017

演员中心关系网络

模型人与场景、物体之间的关系有助于精细化人类行为的区分，有别于现有 3D ConvNets 的方法，而采用 actor-centric relational network 以弱监督方式自动挖掘相关要素计算 pair-wise relation，实现 state-of-the-art 表现。

Jul, 2018

MRSN: 多关系支持网络的视频动作检测

该研究提出了一种名为 MRSN 的神经网络模型，利用 Actor-Context 和 Actor-Actor Relation Encoder 分别建模，并通过 Relation Support Encoder 计算二者的支持并进行关系级互动，最终通过 Relation Consensus Module 将这两个关系与长期关系相融合，成功地解决了动作检测这一具有挑战性的视频理解任务。

Apr, 2023

时间动作检测的关系网络提案

本技术报告介绍了我们在 AcitivityNet 2021 挑战赛中针对时间动作检测任务提出的解决方案。我们通过使用 BMN、slowfast、CSN 和 ViViT 等方法来进行动作分类和特征编码，改进 BMN 算法的提案生成和行为检测以及不同设置下的结果综合，最终在测试集中取得 44.7% 的平均 mAP，相较于 ActivityNet 2020 冠军成绩提高了 1.9%。

Jun, 2021

视频物体检测的关系蒸馏网络

该研究提出了关系蒸馏网络 (RDN) 的新架构，通过跨物体的空时上下文进行聚合和传播，从而改进了目标检测和跨帧盒子链接，并在 ImageNet VID 数据集上实现了最佳 mAP。

Aug, 2019

基于姿态的双流关系网络用于视频动作识别

提出了基于姿态的双流关系网络（PSRN）来解决目前基于姿态的动作识别存在的问题，该方法包括两个流，一个流用于建模目标 2D 人体姿势序列的时间动态，另一个流用于建模与动作相关的物体，通过姿态对象关系网络建模了人体姿态和动作相关物体之间的关系，在 Sub-JHMDB 和 PennAction 数据集上取得了最新的性能表现。

May, 2018

视频中的时间关系推理

该论文介绍了一种时间关系网络（TRN），通过对多个时间尺度上视频帧之间的时间依赖关系进行学习和推理，使卷积神经网络具有发现视频中时间关系的显着能力。经过实验证明，TRN 配备的网络可以通过仅稀疏采样的视频帧，在 Something-Something、Jester 和 Charades 数据集上准确预测人 - 物交互，并以非常有竞争力的性能识别 Jester 数据集上的各种人类手势，并在 Charades 数据集中识别日常活动，这超过了两个流网络和 3D 卷积网络的表现。进一步的分析表明，模型在视频中学习了直观和可解释的视觉常识知识。

Nov, 2017

多目标跟踪的空间 - 时间关系网络

本研究提出一种名为空间 - 时间关系网络（STRN）的方法，利用统一框架同时编码多个线索来计算相似度，并深入研究了轨迹物体对的特征表示方法，成功地在 MOT15-17 基准测试中达到了最先进的精度。

Apr, 2019