Jun, 2023

利用多模态合成数据进行工业场景下自我中心人 - 物互动检测

PDF
TL;DR本文针对工业环境下自我中心的人物 - 物体交互（EHOI）检测问题，提出了一种生成与注释合成图像数据的流程和工具，并发布了包含多种注释的 EgoISM-HOI 数据集。利用合成的 EHOI 数据，我们设计了一种新的方法，在 RGB 图像上预测和结合多种信号以检测 EHOI，并表明预先训练所提出的方法的性能在真实世界的数据上具有显著的提高。同时，我们公开了数据集、源代码和预训练模型，以支持该领域的研究。
发现论文，激发创造
  • 合成数据对自我中心手 - 物互动检测有用吗？调查与 HOI-Synth 领域迁移基准

    通过使用合成数据和域适应技术，我们在自我中心视觉领域研究了提高手物交互检测的有效性。我们介绍了一个模拟器，能够自动生成带有手物接触状态、边界框和像素级分割掩码的合成图像。通过对三个自我中心数据集（VISOR，EgoHOS，ENIGMA-51）的全面实验和比较分析，我们证明了合成数据和域适应技术的使用可以在只对一小部分真实数据进行标注的情况下，实现与传统监督方法相当的性能。当使用由真实目标环境和对象的 3D 模型生成的领域内合成数据进行测试时，我们最好的模型在性能上与仅基于标记真实数据的标准完全监督方法相比表现出持续的改进。我们的研究还为自我中心手物交互检测（HOI-Synth）设定了一个新的域适应基准，并提供了鼓励该领域进行此挑战性任务的基准结果。我们在以下链接上发布了生成的数据、代码和模拟器：this https URL

    Dec, 2023

  • 多模式提示下的开放世界人物 - 物体交互检测

    我们开发了一种名为 MP-HOI 的强大的多模态基于提示的 HOI 检测器，它能够利用文本描述进行开集通用化，并通过处理描述中的高歧义，实现对开放世界中的 HOI 的检测。我们构建了一个名为 Magic-HOI 的大规模 HOI 数据集，用于促进 MP-HOI 的训练，并介绍了一个自动化流程来生成逼真的 HOI 图像，并提供了包含 100K 图像的高质量合成 HOI 数据集 SynHOI。利用这两个数据集，MP-HOI 通过统一的对比损失将 HOI 任务优化为多模态提示和对象 / 交互之间的相似度学习过程，以从大规模数据中学习可推广和可传递的对象 / 交互表示。MP-HOI 可以作为 HOI 检测器的通用模型，其词汇量超过现有专家模型的 30 倍以上。与此同时，我们的结果表明，MP-HOI 在真实世界的场景中表现出卓越的零样本能力，并在各种基准测试中始终达到新的最先进性能。

    Jun, 2024

  • 使用混合监督方法检测人与物体之间的交互

    本文介绍了一种通过利用有强监督和弱监督数据相结合的方法来进行人物物品交互检测的流程，并介绍了一种交换元素技术来增加模型的鲁棒性，在 HICO-DET 数据集上的表现比同一监督模式下的最先进的弱监督和强监督方法表现更好。

    Nov, 2020

  • 通过虚拟图像学习改进人物 - 物体交互检测

    本文提出了一种基于虚拟图像学习的方法来解决人 - 物交互检测任务中类别分布不平衡的问题，通过借助虚拟图像和真实图像训练模型，构建伪标签以及结合现有方法进行训练，取得了显著改进并实现了新的最先进结果。

    Aug, 2023

  • HOI-M3：在情境环境中捕捉多个人物和物体的互动

    该研究介绍了一种用于建模多个人与多个物体互动的新型大规模数据集 HOI-M3，通过准确的三维跟踪，从密集的 RGB 和物体安装的 IMU 输入中覆盖了 199 个序列和 181M 帧的多样化人和物体的活动。该数据集提出了两个新的数据驱动任务，并提供了强大的基线模型，用于捕捉和生成多个人与物体之间的互动。通过广泛的实验证明了该数据集对于进一步研究多个人与物体的互动和行为分析具有挑战性和重要价值。该数据集和相关代码、预训练模型将向研究社区进行传播，以供未来研究使用。

    Mar, 2024

  • 使用文本图像扩散模型提升人 - 物交互检测

    本文提出了一种新的 HOI 检测方案 DiffHOI，通过预先训练的文本 - 图像扩散模型增强了检测器的性能，进一步减少了对交互预测的歧义，并通过 SynHOI 数据集有效缓解现有数据集中的长尾问题，促进了交互表示的学习。

    May, 2023

  • 通过功能泛化检测人 - 物交互

    本文提出了一种基于人与物体功能相似性的人类 - 物体交互检测方法，使用视觉特征、人类和物体之间的相对空间方向和功能相似物体参与相似交互的知识。在 HOI 数据集上，该方法在平均精度方面的绝对增益为 2.5%，并且在已知物体情况下实现了零样本 HOI 检测和广义物体检测。

    Apr, 2019

  • 动态视频中的三维人物 - 物体交互 (D3D-HOI)

    D3D-HOI 是一种包含具有三维物体姿态、形状和部件运动的人 - 物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。

    Aug, 2021

  • 基于虚拟现实的生成逼真合成数据用于训练手 - 物体追踪模型

    通过使用 Blender 软件开发的交互式合成数据生成器 blender-hoisynth，本研究提出了一种用于精确跟踪三维手 - 物体交互的有监督学习模型，以解决大量标注数据和非专业人员标注三维真值在二维图像上的困难问题。该生成器可生成高度真实和具有物理合理性的视频数据，用于训练 HOI 重建模型。通过使用这些合成数据替代 DexYCB 数据集的训练数据，实验证明数据替代并不会明显降低模型性能。

    Jan, 2024

  • 人 - 物交互检测中的可迁移交互知识

    研究人体与物体互动关系，通过使用一个可学习的 Interactiveness Network，学习 HOI 数据集的互动知识，从而实现在 HOI 分类推理之前进行非交互抑制，并在 HICO-DET 和 V-COCO 数据集上验证了方法的有效性和灵活性。

    Nov, 2018