Jul, 2018

用于识别人 - 物互动的基于身体部位配对的注意力

PDF
TL;DR此研究提出了一种新的面向人 - 物交互识别的 body-part attention 模型，可以学习关注关键部位及其相关性，并引入一种注意力特征选择方法和特征表示模式，可以捕捉不同身体部位之间的联系，实验结果在 HICO 数据集上表现优于现有最先进方法 4 个百分点。
human-object interactionsbody-part attention modelfeature selection methodpairwise correlationshoi recognition
发现论文，激发创造
  • 挖掘跨人提示进行 HOI 检测中的身体部位交互学习

    本文提出了一种新的方法，从全局角度学习人体部分之间的交互性，包括构建基于自我关注的身体部位显著性图，以挖掘跨人信息和学习所有身体部位之间的整体关系，并在一些基准数据集上取得了明显的改进。

    Jul, 2022

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • iCAN: 实例中心注意力网络用于人 - 物交互检测

    本文提出了一种利用实例注意力重点聚合一张图像中与人 - 物交互相关的特征，实现人 - 物交互检测任务的方法，并在 COCO 和 HICO-DET 数据集上验证了其有效性，结果明显优于现有技术。

    Aug, 2018

  • 将 HOI 检测重构为自适应集合预测

    本文提出一种基于 Adaptive Set Prediction 的 AS-Net 框架，通过多头注意力聚合查询集和全局上下文推理交互相关特征，同时使用实例感知注意模块将实例分支的特征引入交互分支，以实现更为准确高效的人物 - 物体交互检测。本方法在三个 HOI 检测数据集上实现比前沿方法更好的结果，尤其在大规模 HICO-DET 数据集上，相对于之前的最优结果实现了超过 31% 的性能提升。

    Mar, 2021

  • QPIC：基于查询的人 - 物交互配对检测，包含图像范围的上下文信息

    提出了一种基于 transformer 的特征提取器，其中关注机制和基于查询的检测起着关键作用，可以避免多个 HOI 实例的特征混合，有效提取上下文重要特征，优于现有方法。

    Mar, 2021

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023

  • 人物 - 物体交互识别中被忽视的分类器

    本文探讨了人 - 物体交互检测的两个挑战：类别不平衡和每图像多标签需求的有效解决方法，分别是通过对比分析 HOIs 语言嵌入来初始化权重和使用 LSE-Sign 损失加强多标签学习，从而实现了无需依赖物体检测和人体姿势检测的 HOI 分类，在集成现有物体检测模型后，达到了最先进的检测结果。

    Dec, 2021

  • 通过功能泛化检测人 - 物交互

    本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法，使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上，该方法在平均精度方面的绝对增益为 2.5%，并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。

    Apr, 2019

  • 基于几何特征的视频多人物体交互识别

    本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。

    Jul, 2022