ECCVMar, 2022

Iwin: 基于 Transformer 和不规则窗口的人类 - 物体交互检测

PDF
TL;DR本文介绍了一种新型的 Transformer 模型 ——Iwin Transformer，该模型专为人物 - 物体交互检测（HOI detection）而设计，通过逐层进行标记表示学习和聚合来逐步提高其检测人物 / 物体和识别交互的能力，并在两种常用的数据集 HICO-DET 和 V-COCO 上验证了其有效性和高效性。
iwin transformerhuman-object interactionhoi detectiontoken representation learninginteraction recognition
发现论文，激发创造
  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • 一种高效的两阶段人 - 物交互检测方法： 一种新型的一元 - 双元转换器

    在本论文中，我们提出了基于一种二步检测器 ——Unary-Pairwise Transformer，它利用 HOIs 的一元和二元表示，通过使用与 DETR 相同的 Transformer 来训练，我们发现在相同的 Transformer 下，使用二步检测器比使用一步检测器可以提高预测性能和减少训练时间。我们在 HICO-DET 和 V-COCO 数据集上进行了评估，并明显优于最先进的方法。在推理时间内，我们的模型通过使用 ResNet50 能够在单个 GPU 上实现实时性能。

    Dec, 2021

  • GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

    文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。

    Aug, 2021

  • 基于解缠的 Transformer 的人 - 物互动检测

    该研究旨在解决人 - 物交互检测中的联合定位和分类问题，通过提出解耦三元组预测为人 - 物对检测和交互分类两个子任务来学习关注不同区域的表示，从而设计出 Disentangled Transformer，与现有 HOI transformers 相比，其方法在两个公共 HOI 基准测试中表现更佳。

    Apr, 2022

  • 集合式变压器进行人 - 物互动检测

    我们提出了一种聚合 Transformer (AGER)，首次实现了基于 Transformer 的人 - 物互动 (HOI) 检测器在单阶段、端到端方式中灵活地利用额外的实例级线索。AGER 通过动态聚类与文本引导相结合，获取实例标记，从而在提取不同实例级线索方面呈现出显著改进，HOI 检测在 HICO-Det 上获得了 36.75 的 mAP，达到了最新的性能水平。

    Aug, 2023

  • 探索基于交互倡议的结构感知变压器模型在人 - 物交互检测中的应用

    本文提出了一种新的基于 Transformer 风格的人 - 物交互检测器 STIP，其将 HOI 预测过程分解为交互提议生成和通过结构感知的 Transformer 将非参数化交互提议转换为 HOI 预测。实验结果显示，STIP 优于现有的 HOI 检测器。

    Jun, 2022

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • 语义和空间精细化 Transformer 用于检测人物 - 物体交互

    我们提出了一种基于 Transformer 的语义和空间精炼 Transformer（SSRT），用于解决需要定位人和物体并预测它们之间交互的人 - 物交互检测任务，并在 V-COCO 和 HICO-DET 等两个最受欢迎的 HOI 基准测试中取得了最新的结果。

    Apr, 2022

  • 类别感知变压器网络用于更好的人物 - 物体交互检测

    本篇论文介绍了一种利用类别感知信息初始化对象查询提升变压器基础 HOI 检测器性能的方法，即 Category-Aware Transformer Network (CATN)，并通过验证实验和大量实验表明，该方法可以显著提高 HOI 检测器的性能，从而实现新的最先进结果。

    Apr, 2022