通过图形解析神经网络学习人 - 物交互

ECCVAug, 2018

通过图形解析神经网络学习人 - 物交互

Learning Human-Object Interactions by Graph Parsing Neural Networks

Siyuan Qi, Wenguan Wang, Baoxiong Jia, Jianbing Shen, Song-Chun Zhu

TL;DR本文介绍了一种利用结构化知识实现可微分端到端检测和识别图像和视频中的人 - 物交互的算法 —— 图解析神经网络（GPNN）。结果表明，在三个 HOI 检测基准测试上，我们的方法明显优于现有的最新方法，证明 GPNN 可以应用于大型数据集和时空设置，并可覆盖图解析和逐步计算相邻矩阵和节点标签。

Abstract

This paper addresses the task of detecting and recognizing human-object interactions (HOI) in images and videos. We introduce the Graph Parsing Neural Network (GPNN), a framework that incorporates structural knowledge while being differentiable end-to-end. For a given scene, GPNN infers a parse graph that includes i) the HOI graph structure represented by an

human-object interactions graph parsing neural network hoi detection adjacency matrix message passing inference

发现论文，激发创造

人 - 物交互检测的视觉 - 语义图注意力网络

通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

Jan, 2020

基于图的人 - 物交互检测交互式推理

本文提出了一种名为交互图的图形交互推理模型，以推断人类和周围物体的相互作用，并构建了新的框架用于检测 HOIs，即 in-GraphNet，该模型能够有效地利用视觉目标间的交互语义，且不需要昂贵的注释，实验证明该方法在 V-COCO 和 HICO-DET 基准测试中比现有的 HOI 检测方法表现更优，基准线相对提高了 9.4% 和 15%。

Jul, 2020

上下文异构图神经网络用于人 - 物交互检测

本文提出一种基于异构图网络的目标与人交互检测方法，通过将人和物体建模为不同种类的节点，利用节点之间的内部关联信息和跨类别信息，再利用图注意力机制提升学习效果，实验表明内部关系和跨类别信息对于目标与人交互检测非常重要，并证实了模型的有效性。

Oct, 2020

利用场景图进行人 - 物互动检测

提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

Aug, 2021

GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。

Aug, 2021

基于几何特征的视频多人物体交互识别

本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。

Jul, 2022

用于人 - 物交互识别的时空交互图解析神经网络

该论文提出了一种基于 Spatio-Temporal Interaction Graph Parsing Networks（STIGPN）的视频人物 - 物体交互识别架构，采用多模态特征融合策略，借助空间和时间关系及语义信息构建图结构，取得了比现有方法更高的准确度。

Aug, 2021

ConsNet: 学习一致性图以用于零样本人 - 物交互检测

提出了一种基于 ConsNet 的多层次一致性表示的知识感知框架，它在 V-COCO 和 HICO-DET 数据集上优于现有方法，同时利用 Graph Attention Networks 在图形中传播知识。

Aug, 2020

DRG: 用于人物 - 物体交互检测的双重关系图

本研究解决了人 - 物互动检测的难题，提出了一种利用抽象空间 - 语义表示来描述每个人 - 物对并通过双重关系图聚合场景的上下文信息的方法，该模型相对于现有的算法在两个大型基准数据集上表现出更加优良的结果。

Aug, 2020

一种基于骨架的图卷积神经网络用于人 - 物交互检测

本研究提出了一种名为 SGCN4HOI 的骨架感知图卷积网络，能够通过图卷积捕捉人体骨骼关键点与物体关键点之间的细粒度结构化交互，并使用从人物 - 物品对中获取的几何特征与视觉特征和空间配置特征，进一步融合这些几何特征，以便更好地保留对象结构信息并促进人 - 对象交互检测。在公共基准 V-COCO 数据集上，该方法的性能优于基于姿态的模型的最新技术并获得了与其他模型的有竞争力的性能。

Jul, 2022