Dec, 2023

合成数据对自我中心手 - 物互动检测有用吗？调查与 HOI-Synth 领域迁移基准

PDF
TL;DR通过使用合成数据和域适应技术，我们在自我中心视觉领域研究了提高手物交互检测的有效性。我们介绍了一个模拟器，能够自动生成带有手物接触状态、边界框和像素级分割掩码的合成图像。通过对三个自我中心数据集（VISOR，EgoHOS，ENIGMA-51）的全面实验和比较分析，我们证明了合成数据和域适应技术的使用可以在只对一小部分真实数据进行标注的情况下，实现与传统监督方法相当的性能。当使用由真实目标环境和对象的 3D 模型生成的领域内合成数据进行测试时，我们最好的模型在性能上与仅基于标记真实数据的标准完全监督方法相比表现出持续的改进。我们的研究还为自我中心手物交互检测（HOI-Synth）设定了一个新的域适应基准，并提供了鼓励该领域进行此挑战性任务的基准结果。我们在以下链接上发布了生成的数据、代码和模拟器：this https URL
synthetic datahand-object interaction detectionegocentric vision domaindomain adaptation techniquesegocentric hand-object interaction detection
发现论文，激发创造
  • 利用多模态合成数据进行工业场景下自我中心人 - 物互动检测

    本文针对工业环境下自我中心的人物 - 物体交互（EHOI）检测问题，提出了一种生成与注释合成图像数据的流程和工具，并发布了包含多种注释的 EgoISM-HOI 数据集。利用合成的 EHOI 数据，我们设计了一种新的方法，在 RGB 图像上预测和结合多种信号以检测 EHOI，并表明预先训练所提出的方法的性能在真实世界的数据上具有显著的提高。同时，我们公开了数据集、源代码和预训练模型，以支持该领域的研究。

    Jun, 2023

  • 基于虚拟现实的生成逼真合成数据用于训练手 - 物体追踪模型

    通过使用 Blender 软件开发的交互式合成数据生成器 blender-hoisynth，本研究提出了一种用于精确跟踪三维手 - 物体交互的有监督学习模型，以解决大量标注数据和非专业人员标注三维真值在二维图像上的困难问题。该生成器可生成高度真实和具有物理合理性的视频数据，用于训练 HOI 重建模型。通过使用这些合成数据替代 DexYCB 数据集的训练数据，实验证明数据替代并不会明显降低模型性能。

    Jan, 2024

  • 注视引导的手物互动合成：基准与方法

    我们介绍了第一个注视引导的手 - 物体交互数据集，并提出了一个新颖的注视引导的手 - 物体交互综合任务。我们的数据集 GazeHOI 通过同时建模注视、手和物体的交互，包含 479 个序列，平均持续时间为 19.1 秒，812 个子序列和 33 个具有不同大小的物体。我们提出了一个基于注视引导的手 - 物体交互扩散模型 GHO-Diffusion 的分层框架。我们的广泛实验突出了数据集的独特性及我们方法的有效性。

    Mar, 2024

  • SynH2R：用于学习人机交接的合成手 - 物体动作

    通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

    Nov, 2023

  • 使用模拟和领域自适应提高深度机器抓取效率

    使用合成数据和领域自适应，可以将在真实世界中所需的样本数缩减至只使用随机生成的合成对象，并且可以使用无标签的真实世界数据和 GraspGAN 方法来获得类似于使用 939,777 个标记的真实世界样本所达到的真实世界抓取性能。

    Sep, 2017

  • 细粒度自我中心手部 - 物体分割：数据集、模型和应用

    本文提供了一种具有像素级细分标签的 egocentric 图像数据集，其中包含 11,243 个日常活动中与对象相互作用时人手和对象的标签数据。我们引入了上下文感知的组合数据增强技术以适应分布外的 YouTube egocentric 视频，并展示了我们坚韧的手物分割模型和数据集可以作为基础工具，促进或实现手势状态分类、视频活动识别、手物交互的 3D 网格重建，以及对 egocentric 视频中的手物前景进行视频修复。

    Aug, 2022

  • 合成数据用于多物体抓握中的快速注释和鲁棒分割

    本研究提出了一种合成数据生成方法，结合小规模真实数据集，通过生成的合成场景数据和深度信息，训练出在物体识别、姿态估计和图像分割等方面表现优越的机器人抓取算法。

    Jan, 2024

  • 语义分割中的可靠性问题：我们能否使用合成数据？

    本文挑战了最先进的生成模型，通过对稳定扩散进行微调，在语义分割方面自动生成合成数据以评估其可靠性。通过广泛实验，我们表明合成数据与真实异常数据的表现之间存在高度相关性，从而显示了该方法的有效性。此外，我们说明了如何利用合成数据来提高分割器的校准和异常检测能力。

    Dec, 2023

  • 家庭物品语义机器人抓取的深度物体姿态估计

    通过使用合成数据，我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法，成功地跨越了所谓的现实间隙，并通过机器人进行了实时物体姿态估计，取得了与基于真实数据的深度神经网络相当的表现。

    Sep, 2018

  • 使用合成数据训练目标检测模型的分析

    本文研究使用合成数据进行物体检测的方法及其性能，实验结果给出了使用合成数据的基本指导原则，并对比了不同训练技术。

    Nov, 2022