CVPRMar, 2022

MSTR: 多尺度变换器用于端到端的人 - 物交互检测

PDF
TL;DR该论文提出了一种基于多尺度转换器和两个新型的 HOI 感知可变形注意模块的 HOI 检测方法，能够有效地识别具有不同比例和距离的人、物体和它们之间的交互动作，实验结果在两个 HOI 检测基准测试中达到了最新的最佳表现。
human-object interactionhoi detectiontransformer encoder-decoder architecturesdual-entity attentionentity-conditioned context attention
发现论文，激发创造
  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 基于解缠的 Transformer 的人 - 物互动检测

    该研究旨在解决人 - 物交互检测中的联合定位和分类问题，通过提出解耦三元组预测为人 - 物对检测和交互分类两个子任务来学习关注不同区域的表示，从而设计出 Disentangled Transformer，与现有 HOI transformers 相比，其方法在两个公共 HOI 基准测试中表现更佳。

    Apr, 2022

  • GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

    文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。

    Aug, 2021

  • 语义和空间精细化 Transformer 用于检测人物 - 物体交互

    我们提出了一种基于 Transformer 的语义和空间精炼 Transformer（SSRT），用于解决需要定位人和物体并预测它们之间交互的人 - 物交互检测任务，并在 V-COCO 和 HICO-DET 等两个最受欢迎的 HOI 基准测试中取得了最新的结果。

    Apr, 2022

  • 探索基于交互倡议的结构感知变压器模型在人 - 物交互检测中的应用

    本文提出了一种新的基于 Transformer 风格的人 - 物交互检测器 STIP，其将 HOI 预测过程分解为交互提议生成和通过结构感知的 Transformer 将非参数化交互提议转换为 HOI 预测。实验结果显示，STIP 优于现有的 HOI 检测器。

    Jun, 2022

  • 几何特征增强的人物 - 物体交互检测

    我们提出了一种新颖的端到端 Transformer-style HOI 检测模型，即几何特征增强的 HOI 检测器 (GeoHOI)，通过度量关键点的相似性以及局部关键点图像补充互动查询表示，以提升 HOI 预测的性能。 extensive experiments 表明，该方法在 V-COCO 上优于最先进的模型，并在 HICO-DET 上实现了竞争性能，案例研究结果表明了该方法在基于视觉仪器的灾后救援中的适用性。

    Jun, 2024

  • 人物 - 物体交互检测的关系背景学习

    本文提出了一种多路关系网络 (MUREN) 方法，通过人、物、交互标记的一元、二元、三元关系，在三个解码器分支之间进行丰富的上下文交换，学习全面的关系上下文，从而实现了在 HOI 检测的两个标准基准测试中实现了最先进的性能。

    Apr, 2023

  • 一阶段人物目标交互检测的解缠交互表示

    通过引入 Shunted Cross-Attention（SCA）和 Interaction-aware Pose Estimation（IPE）等技术，本文对一阶段方法进行改进，使其能够提取出解开的互动表示，从而在两个基准测试上实现了最先进的性能。

    Dec, 2023

  • 面向场景图生成与人物 - 物体交互检测的统一基于 Transformer 的框架

    以 Transformer 架构为基础的统一一步模型 SG2HOI + 同时实现了场景图生成和人物对象互动检测，在视觉特征的基础上生成关系三元组，并基于此预测人物对象互动，实现了显著的性能提升，超过了现有单阶段场景图生成模型和最先进的人物对象互动方法。

    Nov, 2023