Dec, 2023

I'M HOI: 基于惯性感知的单目式捕捉人 - 物三维交互

PDF
TL;DR我们提出了一种用于捕捉人类和物体的三维运动的单目方案，结合通用动作推断和基于类别的运动扩散模型，在使用极少量的 RGB 相机和物体安装的惯性测量单元（IMU）的新颖环境中，通过综合处理 IMU 信号和 RGB 流重新恢复人体运动和物体运动，从而大幅度提炼初始结果并生成生动的身体、手部和物体运动。
monocular scheme3d motionsrgb camerainertial measurement unit (imu)motion diffusion model
发现论文，激发创造
  • HOI-M3：在情境环境中捕捉多个人物和物体的互动

    该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

    Mar, 2024

  • 动态视频中的三维人物 - 物体交互 (D3D-HOI)

    D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

    Aug, 2021

  • Ins-HOI: 实例感知的人物 - 物体互动恢复

    通过实例级隐式重建，我们提出了 Ins-HOI，一种端到端解决方案，用于恢复人与物体之间的详细交互。我们引入了实例级占据场来支持同时表示人 / 手和对象，并使用补充训练策略处理实例级基准缺失的问题。我们的方法 Ins-HOI 能够在极近交互的情况下生成合理和真实的非可见接触表面，并提供了一个大规模高保真度的 3D 扫描数据集用于研究。

    Dec, 2023

  • CG-HOI: 接触引导的三维人体物体交互生成

    我们提出了 CG-HOI，这是第一个解决从文本中生成动态 3D 人物 - 物体交互（HOIs）任务的方法。我们通过在训练和推断过程中显式地建模人体表面与物体几何之间的接触来引导人体和物体的运动，从而生成更真实、物理上可行的交互序列。

    Nov, 2023

  • HybridCap: 惯性辅助的单目捕捉具有挑战性的人体运动

    本研究提出了一种名为 HybridCap 的轻量级、混合的 3D 运动捕捉技术，通过仅使用 4 个惯性测量单元的传感器，加上基于合作式门控循环单元块的层次运动推理模块和混合优化方案，可以实现对各种运动的鲁棒跟踪。

    Mar, 2022

  • 按照意图交互：意图驱动的人 - 物交互检测

    该研究探索了基于人体姿态、注视和距离等因素实现社交场景下人和物体之间相互作用识别的方法，并针对误分类问题提出硬负样本采样策略。在两个基准数据集，即 V-COCO 和 HICO-DET 上进行实验并验证了各个组件的有效性。

    Aug, 2018

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023

  • HOIMotion: 使用自我中心的 3D 物体边界框预测人与物体交互中的人体动作

    HOIMotion 利用过去的人体姿势和视角 3D 物体边界框信息进行人体运动预测，通过编码器 - 残差图卷积网络和多层感知器从姿势和物体特征中提取特征，将姿势和物体特征融合成新颖的姿势 - 物体图，并使用残差解码器图卷积网络预测未来的人体运动。我们在 Aria 数字孪生（ADT）和 MoGaze 数据集上广泛评估了我们的方法，并显示 HOIMotion 在关节位置误差平均值方面相较于最先进的方法取得了高达 8.7％（ADT）和 7.2％（MoGaze）的显著改进。为了补充这些评估结果，我们报告了一项人类研究（N=20），表明我们的方法的改进使预测的姿势被认为比现有方法更精确和更逼真。综上所述，这些结果揭示了视角 3D 物体边界框对人体运动预测的重要信息内容以及我们的方法在利用该信息方面的有效性。

    Jul, 2024

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • ST-HOI: 视频中人 - 物互动检测的时空基线

    本研究提出了一种简单而有效的体系结构，名为空间 - 时间 HOI 检测（ST-HOI），利用人类和对象轨迹、正确定位的视觉特征和空间 - 时间遮蔽姿态特征等时间信息来检测基于视频的人与对象之间的交互，构建了一个新的视频交互基准，被称为 VidHOI 基准。

    May, 2021