ICCVNov, 2018

简陋版人 - 物互动检测：分解、布局编码和训练技术

PDF
TL;DR本研究发现，在人物 - 物体交互检测方面，使用预训练的物体检测器构建的外观和布局编码的相对简单的分解模型优于更复杂的方法。同时，作者还开发了一些训练技巧来提高学习效率。研究使用现有的 HICO-Det 数据集展开了深入的剖析，以了解不同因素和培训技术的重要性。
human-object interactionfactorized modelappearance encodinglayout encodingpre-trained object detectors
发现论文，激发创造
  • 学习检测人 - 物互动

    在计算机视觉中，我们通过介绍一种新的深度神经网络 (HO-RCNN) 和一种新的输入特征（交互模式），解决了人 - 物目标交互检测（HOI）的基本问题，并在当前的 HICO 分类基准上引入实例注释，大大提高了 HOI 检测的性能。

    Feb, 2017

  • 神经逻辑人 - 物体交互检测

    使用神经逻辑推理和 Transformer 来推断实体之间的可行互动，通过改进 Transformer 的自注意机制，使用逻辑约束学习过程，提高性能和零样本泛化能力。

    Nov, 2023

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • 深度上下文关注人 - 物互动检测

    提出了一种上下文关注框架，通过学习上下文感知的人和对象外观特征，并采用自适应方法选择相关实例中心的上下文信息以突出可能包含人物 - 物品交互的图像区域，从而在三个数据集上超越现有最佳方法。

    Oct, 2019

  • 基于解缠的 Transformer 的人 - 物互动检测

    该研究旨在解决人 - 物交互检测中的联合定位和分类问题，通过提出解耦三元组预测为人 - 物对检测和交互分类两个子任务来学习关注不同区域的表示，从而设计出 Disentangled Transformer，与现有 HOI transformers 相比，其方法在两个公共 HOI 基准测试中表现更佳。

    Apr, 2022

  • 检测和识别人 - 物交互

    这篇研究提出了一个新的机器学习模型，利用人类的行为、动作、动作具体区域等特征来预测目标对象的位置， 实现在图像中精确识别人体与目标物之间的互动关系，为实现目标识别和视觉感知提供了新的思路。

    Apr, 2017

  • 人物 - 物体交互检测的解耦预训练

    提出了一种用于人物 - 物体交互检测（DP-HOI）的有效分离预训练方法，通过利用目标检测和动作识别数据集预训练检测和交互解码器层，并结合图像级监督实现了有效的模型参数初始化，从而显著提高现有 HOI 检测模型在各种稀有类别上的性能。

    Apr, 2024

  • 通过功能泛化检测人 - 物交互

    本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法，使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上，该方法在平均精度方面的绝对增益为 2.5%，并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。

    Apr, 2019

  • HODN: 人物 - 物体特征解离的 HOI 检测

    人物与物体的交互检测任务中，基于 Transformer 的方法显示出了显著的进展。然而，这些方法忽略了人物、物体和交互之间的关系，而我们提出了人物与物体解耦网络（HODN）来明确建模交互关系。我们的方法在 V-COCO 和 HICO-Det 数据集上取得了竞争性的性能，并且可以方便地与现有方法结合以获得最新的结果。

    Aug, 2023

  • 探索人物 - 物体交互中的谓词视觉环境

    通过可视化和精心设计的实验，我们研究了 DETR 框架在人物 - 物体交互研究中的问题，并通过增强图像特征的方式，改进了模型的谓词视觉上下文，从而在 HICO-DET 和 V-COCO 基准上超过了最先进的方法，同时保持了较低的训练成本。

    Aug, 2023