Jun, 2024

几何特征增强的人物 - 物体交互检测

PDF
TL;DR我们提出了一种新颖的端到端 Transformer-style HOI 检测模型，即几何特征增强的 HOI 检测器 (GeoHOI)，通过度量关键点的相似性以及局部关键点图像补充互动查询表示，以提升 HOI 预测的性能。 extensive experiments 表明，该方法在 V-COCO 上优于最先进的模型，并在 HICO-DET 上实现了竞争性能，案例研究结果表明了该方法在基于视觉仪器的灾后救援中的适用性。
camerashuman-object interactiontransformer-based modelsgeometric featureshoi detection
发现论文，激发创造
  • 基于几何特征的视频多人物体交互识别

    本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。

    Jul, 2022

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

    文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。

    Aug, 2021

  • QPIC：基于查询的人 - 物交互配对检测，包含图像范围的上下文信息

    提出了一种基于 transformer 的特征提取器，其中关注机制和基于查询的检测起着关键作用，可以避免多个 HOI 实例的特征混合，有效提取上下文重要特征，优于现有方法。

    Mar, 2021

  • 将 HOI 检测重构为自适应集合预测

    本文提出一种基于 Adaptive Set Prediction 的 AS-Net 框架，通过多头注意力聚合查询集和全局上下文推理交互相关特征，同时使用实例感知注意模块将实例分支的特征引入交互分支，以实现更为准确高效的人物 - 物体交互检测。本方法在三个 HOI 检测数据集上实现比前沿方法更好的结果，尤其在大规模 HICO-DET 数据集上，相对于之前的最优结果实现了超过 31% 的性能提升。

    Mar, 2021

  • 通过视觉语言集成实现零样本人 - 物体交互检测

    本研究提出了一种名为 KI2HOI 的新型框架，用于有效整合视觉语言模型的知识，从而改进零样本人物 - 物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式，设计了基于视觉语义的动词特征学习模块。通过有效的加性自注意机制生成更全面的视觉表示。此外，创新的交互表示解码器通过交叉注意机制，有效地提取信息丰富的区域。为了处理低数据中的零样本学习，利用 CLIP 文本编码器的先验知识，为增强交互理解初始化线性分类器。在主流的 HICO-DET 和 V-COCO 数据集上进行的大量实验证明，我们的模型在各种零样本和全监督设置上优于以前的方法。

    Mar, 2024

  • 学习检测人 - 物互动

    在计算机视觉中，我们通过介绍一种新的深度神经网络 (HO-RCNN) 和一种新的输入特征（交互模式），解决了人 - 物目标交互检测（HOI）的基本问题，并在当前的 HICO 分类基准上引入实例注释，大大提高了 HOI 检测的性能。

    Feb, 2017

  • 通过功能泛化检测人 - 物交互

    本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法，使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上，该方法在平均精度方面的绝对增益为 2.5%，并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。

    Apr, 2019

  • HODN: 人物 - 物体特征解离的 HOI 检测

    人物与物体的交互检测任务中，基于 Transformer 的方法显示出了显著的进展。然而，这些方法忽略了人物、物体和交互之间的关系，而我们提出了人物与物体解耦网络（HODN）来明确建模交互关系。我们的方法在 V-COCO 和 HICO-Det 数据集上取得了竞争性的性能，并且可以方便地与现有方法结合以获得最新的结果。

    Aug, 2023