ECCVJul, 2022

基于 DETR 的人 - 物交互检测中的困难正样本查询挖掘

PDF
TL;DR本文介绍了一种增强 DETR 稳健性的方法，它通过探索部分视觉线索来强制使用部分可见内容进行正确的人 - 物交互检测查询和预测。实验结果表明，该方法在三个基准测试中均取得了最先进的性能。
human-object interaction detectiondetection transformerhard-positive querieshoi queryperformance
发现论文，激发创造
  • 探索人物 - 物体交互中的谓词视觉环境

    通过可视化和精心设计的实验，我们研究了 DETR 框架在人物 - 物体交互研究中的问题，并通过增强图像特征的方式，改进了模型的谓词视觉上下文，从而在 HICO-DET 和 V-COCO 基准上超过了最先进的方法，同时保持了较低的训练成本。

    Aug, 2023

  • 几何特征增强的人物 - 物体交互检测

    我们提出了一种新颖的端到端 Transformer-style HOI 检测模型，即几何特征增强的 HOI 检测器 (GeoHOI)，通过度量关键点的相似性以及局部关键点图像补充互动查询表示，以提升 HOI 预测的性能。 extensive experiments 表明，该方法在 V-COCO 上优于最先进的模型，并在 HICO-DET 上实现了竞争性能，案例研究结果表明了该方法在基于视觉仪器的灾后救援中的适用性。

    Jun, 2024

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • QPIC：基于查询的人 - 物交互配对检测，包含图像范围的上下文信息

    提出了一种基于 transformer 的特征提取器，其中关注机制和基于查询的检测起着关键作用，可以避免多个 HOI 实例的特征混合，有效提取上下文重要特征，优于现有方法。

    Mar, 2021

  • 使用混合监督方法检测人与物体之间的交互

    本文介绍了一种通过利用有强监督和弱监督数据相结合的方法来进行人物物品交互检测的流程，并介绍了一种交换元素技术来增加模型的鲁棒性，在 HICO-DET 数据集上的表现比同一监督模式下的最先进的弱监督和强监督方法表现更好。

    Nov, 2020

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • 将 HOI 检测重构为自适应集合预测

    本文提出一种基于 Adaptive Set Prediction 的 AS-Net 框架，通过多头注意力聚合查询集和全局上下文推理交互相关特征，同时使用实例感知注意模块将实例分支的特征引入交互分支，以实现更为准确高效的人物 - 物体交互检测。本方法在三个 HOI 检测数据集上实现比前沿方法更好的结果，尤其在大规模 HICO-DET 数据集上，相对于之前的最优结果实现了超过 31% 的性能提升。

    Mar, 2021

  • 探索基于交互倡议的结构感知变压器模型在人 - 物交互检测中的应用

    本文提出了一种新的基于 Transformer 风格的人 - 物交互检测器 STIP，其将 HOI 预测过程分解为交互提议生成和通过结构感知的 Transformer 将非参数化交互提议转换为 HOI 预测。实验结果显示，STIP 优于现有的 HOI 检测器。

    Jun, 2022

  • 一种高效的两阶段人 - 物交互检测方法： 一种新型的一元 - 双元转换器

    在本论文中，我们提出了基于一种二步检测器 ——Unary-Pairwise Transformer，它利用 HOIs 的一元和二元表示，通过使用与 DETR 相同的 Transformer 来训练，我们发现在相同的 Transformer 下，使用二步检测器比使用一步检测器可以提高预测性能和减少训练时间。我们在 HICO-DET 和 V-COCO 数据集上进行了评估，并明显优于最先进的方法。在推理时间内，我们的模型通过使用 ResNet50 能够在单个 GPU 上实现实时性能。

    Dec, 2021