MMAug, 2021

GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

PDF
TL;DR文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。
human-object interactionhoi detectiongtnetself-attentionvisual features
发现论文，激发创造
  • 人 - 物交互检测的视觉 - 语义图注意力网络

    通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

    Jan, 2020

  • 几何特征增强的人物 - 物体交互检测

    我们提出了一种新颖的端到端 Transformer-style HOI 检测模型，即几何特征增强的 HOI 检测器 (GeoHOI)，通过度量关键点的相似性以及局部关键点图像补充互动查询表示，以提升 HOI 预测的性能。 extensive experiments 表明，该方法在 V-COCO 上优于最先进的模型，并在 HICO-DET 上实现了竞争性能，案例研究结果表明了该方法在基于视觉仪器的灾后救援中的适用性。

    Jun, 2024

  • 面向场景图生成与人物 - 物体交互检测的统一基于 Transformer 的框架

    以 Transformer 架构为基础的统一一步模型 SG2HOI + 同时实现了场景图生成和人物对象互动检测，在视觉特征的基础上生成关系三元组，并基于此预测人物对象互动，实现了显著的性能提升，超过了现有单阶段场景图生成模型和最先进的人物对象互动方法。

    Nov, 2023

  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • HODN: 人物 - 物体特征解离的 HOI 检测

    人物与物体的交互检测任务中，基于 Transformer 的方法显示出了显著的进展。然而，这些方法忽略了人物、物体和交互之间的关系，而我们提出了人物与物体解耦网络（HODN）来明确建模交互关系。我们的方法在 V-COCO 和 HICO-Det 数据集上取得了竞争性的性能，并且可以方便地与现有方法结合以获得最新的结果。

    Aug, 2023

  • 利用场景图进行人 - 物互动检测

    提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

    Aug, 2021

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • 将 HOI 检测重构为自适应集合预测

    本文提出一种基于 Adaptive Set Prediction 的 AS-Net 框架，通过多头注意力聚合查询集和全局上下文推理交互相关特征，同时使用实例感知注意模块将实例分支的特征引入交互分支，以实现更为准确高效的人物 - 物体交互检测。本方法在三个 HOI 检测数据集上实现比前沿方法更好的结果，尤其在大规模 HICO-DET 数据集上，相对于之前的最优结果实现了超过 31% 的性能提升。

    Mar, 2021

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023