CVPRApr, 2020

人体和物体交互的详细 2D-3D 联合表示

PDF
TL;DR本论文提出了一种详细的 2D-3D 联合表示学习方法，能够使计算机更好地理解人物和物体之间的交互行为，效果在大规模的 HOI 基准和 Ambiguous-HOI 数据集上表现良好。
human-object interaction3d body shape2d-3d joint representation learninghoi representationambiguous-hoi
发现论文，激发创造
  • 动态视频中的三维人物 - 物体交互 (D3D-HOI)

    D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

    Aug, 2021

  • 基于几何特征的视频多人物体交互识别

    本研究提出一种基于几何特征的图卷积网络用于人 - 物交互识别，结合了人体姿态和物体位置等几何要素与视觉特征，在多人和多物体的情况下显著提高了识别准确率，并构建了新的多人人 - 物交互数据集 MPHOI-72。

    Jul, 2022

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • 基于基元的 3D 人物 - 物体交互建模与编程

    提出了一种基于几何原语的三维人体和关节物体交互嵌入方法，使用超椭球作为基本表示，并构建了一个基于原语的三维人体和关节物体交互数据集，实现了机器对三维人体和关节物体交互的重建和识别任务。

    Dec, 2023

  • 人 - 物交互识别和人体姿态估计的 Turbo 学习框架

    本研究提出了一种快速学习框架实现同时进行 HOI 识别和姿态估计的任务。通过姿态感知 HOI 识别模块和 HOI 指导姿态估计模块之间的信息传递形成了一个闭环，使两个模块可以迭代地利用互补信息，并可以进行端到端的训练。该方法在两个公共基准数据集（V-COCO 和 HICO-DET）上实现了最先进的性能。

    Mar, 2019

  • DRG: 用于人物 - 物体交互检测的双重关系图

    本研究解决了人 - 物互动检测的难题，提出了一种利用抽象空间 - 语义表示来描述每个人 - 物对并通过双重关系图聚合场景的上下文信息的方法，该模型相对于现有的算法在两个大型基准数据集上表现出更加优良的结果。

    Aug, 2020

  • Ins-HOI: 实例感知的人物 - 物体互动恢复

    通过实例级隐式重建，我们提出了 Ins-HOI，一种端到端解决方案，用于恢复人与物体之间的详细交互。我们引入了实例级占据场来支持同时表示人 / 手和对象，并使用补充训练策略处理实例级基准缺失的问题。我们的方法 Ins-HOI 能够在极近交互的情况下生成合理和真实的非可见接触表面，并提供了一个大规模高保真度的 3D 扫描数据集用于研究。

    Dec, 2023

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023

  • HOI-M3：在情境环境中捕捉多个人物和物体的互动

    该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

    Mar, 2024