ECCVJul, 2022

基于几何特征的视频多人物体交互识别

PDF
TL;DR本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。
human-object interactiongeometric feature-informed graph convolutional networkmulti-person hoi datasetvisual featureshuman pose
发现论文，激发创造
  • 几何特征增强的人物 - 物体交互检测

    我们提出了一种新颖的端到端 Transformer-style HOI 检测模型，即几何特征增强的 HOI 检测器 (GeoHOI)，通过度量关键点的相似性以及局部关键点图像补充互动查询表示，以提升 HOI 预测的性能。 extensive experiments 表明，该方法在 V-COCO 上优于最先进的模型，并在 HICO-DET 上实现了竞争性能，案例研究结果表明了该方法在基于视觉仪器的灾后救援中的适用性。

    Jun, 2024

  • 利用场景图进行人 - 物互动检测

    提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

    Aug, 2021

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023

  • 从类别到风景：一个用于视频中多人人物 - 物体交互识别的端到端框架

    提出了一种新的端到端类到场景框架 (CATS)，通过分别生成各个类别的几何特征，随后将其与对应的视觉特征融合，构建一个包含增强的几何 - 视觉特征的场景交互图，以学习人与物体类别之间的关系。该方法在两个关键的人物 - 物体交互基准测试 (MPHOI-72 和 CAD-120) 中展示了最先进的性能。

    Jul, 2024

  • 基于图的人 - 物交互检测交互式推理

    本文提出了一种名为交互图的图形交互推理模型，以推断人类和周围物体的相互作用，并构建了新的框架用于检测 HOIs，即 in-GraphNet，该模型能够有效地利用视觉目标间的交互语义，且不需要昂贵的注释，实验证明该方法在 V-COCO 和 HICO-DET 基准测试中比现有的 HOI 检测方法表现更优，基准线相对提高了 9.4% 和 15%。

    Jul, 2020

  • 人 - 物交互检测的视觉 - 语义图注意力网络

    通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

    Jan, 2020

  • 通过功能泛化检测人 - 物交互

    本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法，使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上，该方法在平均精度方面的绝对增益为 2.5%，并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。

    Apr, 2019

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • DRG: 用于人物 - 物体交互检测的双重关系图

    本研究解决了人 - 物互动检测的难题，提出了一种利用抽象空间 - 语义表示来描述每个人 - 物对并通过双重关系图聚合场景的上下文信息的方法，该模型相对于现有的算法在两个大型基准数据集上表现出更加优良的结果。

    Aug, 2020

  • 人体和物体交互的详细 2D-3D 联合表示

    本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

    Apr, 2020