MMOct, 2019

交互关系网络用于相互动作识别

PDF
TL;DR我们提出了交互关系网络（Interaction Relational Network），它是一种简单而强大的架构，利用了关于人体结构的最少先验知识，通过定义不同的关系和重要的有结构的成对运算来更好地表示交互，并使用 LSTM 来进行关系推论，实现了与先前最先进的方法相似的结果。
person-person mutual action recognitioninteraction relational networkrelational reasoningcnnslstms
发现论文，激发创造
  • 从面部表情识别到人际关系预测

    本研究旨在研究是否可以从生活场景中的人脸图像中对人际关系进行细分和高水平特征的表征和量化，并提出了一种采用深度网络架构来识别面部表情的方法，以预测人际关系，并展示出了良好的实验结果。

    Sep, 2016

  • 演员中心关系网络

    模型人与场景、物体之间的关系有助于精细化人类行为的区分，有别于现有 3D ConvNets 的方法，而采用 actor-centric relational network 以弱监督方式自动挖掘相关要素计算 pair-wise relation，实现 state-of-the-art 表现。

    Jul, 2018

  • 基于骨架的人体交互识别的双流混合 CNN-Transformer 网络

    我们提出了一种两流混合 CNN-Transformer 网络（THCT-Net），通过 CNN 和 Transformer 同时建模实体、时间和空间之间的关系，来更好地理解和推断各种动作的意义和上下文。

    Dec, 2023

  • 循环交互网络联合抽取实体和分类关系

    采用多任务学习方法解决实体和关系联合提取问题，提出了一种称为循环交互网络的多任务学习模型，能够动态地学习交互来有效地模拟分类的任务特征，并在两个真实数据集上进行实证研究验证了该模型的优越性。

    May, 2020

  • 利用交互网络学习关于物体、关系和物理的知识

    本文介绍了交互网络模型，它能够推断复杂系统中物体之间相互作用的方式，支持对系统动态预测，以及对系统抽象属性的推理。该模型使用深度神经网络进行对象和关系居中的推理，并可以推理多种具有挑战性的物理领域。 报告结果表明，它能够训练准确地模拟数十个对象在数千个时间步骤上的物理轨迹，估计能量等抽象量，自动推广到具有不同数量和配置的对象和关系的系统中。 该交互网络的实现是第一个通用的，可学习的物理引擎，是处理各种复杂真实世界领域中物体和关系的强大的通用框架。

    Dec, 2016

  • 基于相对关注模型的人类交互预测

    本研究提出了一种相对注意力模型，用于预测人之间的相互作用，通过采用三元耦合深度递归结构以及建立有效的人 - 人相互作用表示和全局相互作用表示，同时分配更高的重要性给与正在发生互动的相关区域，该模型在两个公共数据集上的广泛实验证明了其在预测人与人之间相互作用时具有更高的准确性。

    May, 2017

  • 深度双重关系模型用于自我中心交互识别

    本研究提出了一种双重关系建模框架，其中包括一种新颖的交互式 LSTM 模块，一个参与者注意模块和一个全局 - 局部运动模块，以显式地建模摄像头佩戴者与交往方之间的关系，并利用此框架进行自我中心交互识别，表现出了对现有技术的优势。

    May, 2019

  • 级联的人物 - 物品相互作用识别

    本文提出了一种基于级联架构的人体 - 目标交互理解方法，包括实例定位和交互识别两个阶段，并引入了关系排名和三元流分类器等组件，在边缘像素级别完成交互关系细分，实现了极佳的关系建模表现。

    Mar, 2020

  • 基于姿态的双流关系网络用于视频动作识别

    提出了基于姿态的双流关系网络（PSRN）来解决目前基于姿态的动作识别存在的问题，该方法包括两个流，一个流用于建模目标 2D 人体姿势序列的时间动态，另一个流用于建模与动作相关的物体，通过姿态对象关系网络建模了人体姿态和动作相关物体之间的关系，在 Sub-JHMDB 和 PennAction 数据集上取得了最新的性能表现。

    May, 2018

  • I^2R-Net：用于多人姿态估计的人际内和外关系网络

    本研究提出了基于人际内外关系网络（I ^ 2R-Net）的多人姿态估计算法，在 COCO、CrowdPose 和 OCHuman 数据集上，得到了优于现有方法的结果。

    Jun, 2022