AAAIMar, 2019

人 - 物交互识别和人体姿态估计的 Turbo 学习框架

PDF
TL;DR本研究提出了一种快速学习框架实现同时进行 HOI 识别和姿态估计的任务。通过姿态感知 HOI 识别模块和 HOI 指导姿态估计模块之间的信息传递形成了一个闭环，使两个模块可以迭代地利用互补信息，并可以进行端到端的训练。该方法在两个公共基准数据集（V-COCO 和 HICO-DET）上实现了最先进的性能。
human-object interactionshoi recognitionpose estimationmessage passingturbo learning
发现论文，激发创造
  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • 基于 Transformer 的端到端人 - 物交互检测

    本文提出了一种基于 transformer 的编码器解码器框架，直接从图像中预测一组 <人，对象，交互> 三元组，通过此预测方法，我们的算法在不需要耗时的后处理的前提下，有效地利用图像中的固有语义关系，并实现了在对象检测后不到 1ms 的推理时间内，在两个 HOI 检测基准测试中实现了最新的性能。

    Apr, 2021

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • GTNet: 指导 Transformer 网络用于检测人物 - 物体交互

    文章介绍了 GTNet 模型，一种基于自注重的引导变换网络，它通过自注重将人和物体的视觉特征编码为空间上下文信息，从而增强了对人 - 物体交互的理解和检测。

    Aug, 2021

  • HOI Transformer 实现端到端人体对象交互检测

    HOI Transformer 是一种用于解决人与物体交互检测任务的算法，它可以通过全局图像上下文来推断物体与人的关系并在并行统一的方式下直接预测 HOI 实例，并引入了五元匹配损失来统一强制 HOI 预测，并能够在 HICO-DET 和 V-COCO 上取得比以前更好的性能表现。

    Mar, 2021

  • 通过视觉语言集成实现零样本人 - 物体交互检测

    本研究提出了一种名为 KI2HOI 的新型框架，用于有效整合视觉语言模型的知识，从而改进零样本人物 - 物体交互检测。通过采用动词提取解码器将相应的动词查询转换为特定交互类别的表示形式，设计了基于视觉语义的动词特征学习模块。通过有效的加性自注意机制生成更全面的视觉表示。此外，创新的交互表示解码器通过交叉注意机制，有效地提取信息丰富的区域。为了处理低数据中的零样本学习，利用 CLIP 文本编码器的先验知识，为增强交互理解初始化线性分类器。在主流的 HICO-DET 和 V-COCO 数据集上进行的大量实验证明，我们的模型在各种零样本和全监督设置上优于以前的方法。

    Mar, 2024

  • 人体和物体交互的详细 2D-3D 联合表示

    本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。

    Apr, 2020

  • 面向场景图生成与人物 - 物体交互检测的统一基于 Transformer 的框架

    以 Transformer 架构为基础的统一一步模型 SG2HOI + 同时实现了场景图生成和人物对象互动检测，在视觉特征的基础上生成关系三元组，并基于此预测人物对象互动，实现了显著的性能提升，超过了现有单阶段场景图生成模型和最先进的人物对象互动方法。

    Nov, 2023

  • 级联的人物 - 物品相互作用识别

    本文提出了一种基于级联架构的人体 - 目标交互理解方法，包括实例定位和交互识别两个阶段，并引入了关系排名和三元流分类器等组件，在边缘像素级别完成交互关系细分，实现了极佳的关系建模表现。

    Mar, 2020

  • 利用场景图进行人 - 物互动检测

    提出了一种利用场景图信息进行人 - 物交互（SG2HOI）检测的新方法，该方法通过全局背景信息和关系感知信息传递模块，利用图像中高级和语义的人物和物体关系，通过两种方式将场景图信息融入到 “人 - 物交互” 检测任务中，表现优于两个基准 HOI 数据集上的最新方法。

    Aug, 2021