CVPRApr, 2023

人物 - 物体交互检测的关系背景学习

PDF
TL;DR本文提出了一种多路关系网络 (MUREN) 方法，通过人、物、交互标记的一元、二元、三元关系，在三个解码器分支之间进行丰富的上下文交换，学习全面的关系上下文，从而实现了在 HOI 检测的两个标准基准测试中实现了最先进的性能。
hoi detectiontransformer architecturescontext exchangerelational reasoningmuren
发现论文，激发创造
  • 级联的人物 - 物品相互作用识别

    本文提出了一种基于级联架构的人体 - 目标交互理解方法，包括实例定位和交互识别两个阶段，并引入了关系排名和三元流分类器等组件，在边缘像素级别完成交互关系细分，实现了极佳的关系建模表现。

    Mar, 2020

  • 基于解缠的 Transformer 的人 - 物互动检测

    该研究旨在解决人 - 物交互检测中的联合定位和分类问题，通过提出解耦三元组预测为人 - 物对检测和交互分类两个子任务来学习关注不同区域的表示，从而设计出 Disentangled Transformer，与现有 HOI transformers 相比，其方法在两个公共 HOI 基准测试中表现更佳。

    Apr, 2022

  • 重新挖掘、学习和推理：探索跨模态语义相关性用于语言引导的 HOI 检测

    通过结构化文本知识，我们提出了一个系统且统一的框架 (RmLR) 来提高人物 - 物体交互检测，通过分析相互作用信息的损失并生成更全面的视觉表示，设计了更精细的句子 - 词级对齐和知识传递策略以有效解决多个交互和多个文本之间的匹配问题，进而提高了对交互的理解。实验结果表明我们的方法在公共基准测试上实现了最先进的性能，并进一步分析了我们方法的各个组成部分对效果的影响，为其功效提供了洞察。

    Jul, 2023

  • QPIC：基于查询的人 - 物交互配对检测，包含图像范围的上下文信息

    提出了一种基于 transformer 的特征提取器，其中关注机制和基于查询的检测起着关键作用，可以避免多个 HOI 实例的特征混合，有效提取上下文重要特征，优于现有方法。

    Mar, 2021

  • 神经逻辑人 - 物体交互检测

    使用神经逻辑推理和 Transformer 来推断实体之间的可行互动，通过改进 Transformer 的自注意机制，使用逻辑约束学习过程，提高性能和零样本泛化能力。

    Nov, 2023

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 人 - 物交互检测的视觉 - 语义图注意力网络

    通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

    Jan, 2020

  • 基于 Transformer 的人物 - 对象交互检测中的组合学习

    人物 - 物体互动（HOI）检测是理解人类活动和视觉场景的重要组成部分。本研究通过引入 transformer-based 框架，重新组合不同 HOI 实例中的人物 - 物体对表示和互动表示，从而获得更丰富的上下文信息，提高知识的泛化能力，并实现一种简单而有效的方法，其在稀有 HOI 类别上表现出卓越的性能。

    Aug, 2023

  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • MSTR: 多尺度变换器用于端到端的人 - 物交互检测

    该论文提出了一种基于多尺度转换器和两个新型的 HOI 感知可变形注意模块的 HOI 检测方法，能够有效地识别具有不同比例和距离的人、物体和它们之间的交互动作，实验结果在两个 HOI 检测基准测试中达到了最新的最佳表现。

    Mar, 2022