ECCVJul, 2018

演员中心关系网络

PDF
TL;DR模型人与场景、物体之间的关系有助于精细化人类行为的区分，有别于现有 3D ConvNets 的方法，而采用 actor-centric relational network 以弱监督方式自动挖掘相关要素计算 pair-wise relation，实现 state-of-the-art 表现。
spatio-temporal action localization3d convnetsactor-centric relational networkaction classificationstate-of-the-art performance
发现论文，激发创造
  • 演员 - 场景 - 演员关系网络用于时空动作定位

    该论文提出了一种名为 Actor-Context-Actor Relation 的高阶关系建模方法，通过建立在多个元素之上的间接高阶关系来用于时空动作定位，能够有效提升动作检测的性能。实验结果表明该方法在 AVAKinetics 动作定位任务中表现出了显著优势。

    Jun, 2020

  • MRSN: 多关系支持网络的视频动作检测

    该研究提出了一种名为 MRSN 的神经网络模型，利用 Actor-Context 和 Actor-Actor Relation Encoder 分别建模，并通过 Relation Support Encoder 计算二者的支持并进行关系级互动，最终通过 Relation Consensus Module 将这两个关系与长期关系相融合，成功地解决了动作检测这一具有挑战性的视频理解任务。

    Apr, 2023

  • 关系动作预测

    本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

    Apr, 2019

  • 时空动作定位的关系建模

    本文提出一种用于动作识别的多类型关系建模方法，并采用训练策略将多种关系建模集成到两个大规模视频数据集的端对端训练中去。同时，结合记忆库的学习和面向长尾数据分布的微调方法，以进一步提高性能，最终在 AVA-Kinetics 测试集中实现了 40.67 mAP 的成绩。

    Jun, 2021

  • 交互关系网络用于相互动作识别

    我们提出了交互关系网络（Interaction Relational Network），它是一种简单而强大的架构，利用了关于人体结构的最少先验知识，通过定义不同的关系和重要的有结构的成对运算来更好地表示交互，并使用 LSTM 来进行关系推论，实现了与先前最先进的方法相似的结果。

    Oct, 2019

  • 时间动作检测的关系网络提案

    本技术报告介绍了我们在 AcitivityNet 2021 挑战赛中针对时间动作检测任务提出的解决方案。我们通过使用 BMN、slowfast、CSN 和 ViViT 等方法来进行动作分类和特征编码，改进 BMN 算法的提案生成和行为检测以及不同设置下的结果综合，最终在测试集中取得 44.7% 的平均 mAP，相较于 ActivityNet 2020 冠军成绩提高了 1.9%。

    Jun, 2021

  • 视频动作检测的长短期关系网络

    本文提出了一种新的长短期关系网络（LSTR），通过空时注意机制建模视频内的短期人类 - 背景关系，并通过级联方式使用图卷积网络（GCN）推理长期时空动态，从而增强视频动作检测的特征表现。在四个基准数据集上进行广泛实验，与现有方法相比，取得了优异的结果。

    Mar, 2020

  • 外貌与关系网络用于视频分类

    本论文提出了一种新的架构，叫做 Appearance-and-Relation Network（ARTNet），用于以端对端的方式学习视频表示，具有由多个通用构建块构成的 SMART 块，可同时对外观和关系进行建模，以用于行动识别等计算机视觉应用。

    Nov, 2017

  • 一种关系增强的全卷积网络用于航空场景的语义分割

    本研究提出了空间关系模块和通道关系模块，可用于学习和推理任何两个空间位置或特征图之间的全局关系，并产生关系增强的特征表示。研究团队在利用两个航空图像数据集进行的语义分割任务中使用这些模块，取得了相当优异的结果，比基准模型有显著提升。

    Apr, 2019

  • 基于注意力关系网络的面部动作单元识别

    本文提出了一种基于注意力机制的关系网络（ABRNet），该网络可以自动捕获不同 AU 之间的关系，使用自我注意力融合模块来提高特征的稳健性，并提出了 AU 关系丢失策略和 AU 关系损失来进一步改善 AU 识别。实验证明，该方法在 DISFA 和 DISFA+ 数据集上实现了最先进的性能。

    Oct, 2022