HandBooster: 通过条件合成和手物交互的采样提升 3D 手部网格重建

Mar, 2024

HandBooster: 通过条件合成和手物交互的采样提升 3D 手部网格重建

HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions

Hao Xu, Haipeng Li, Yinqiao Wang, Shuaicheng Liu, Chi-Wing Fu

TL;DR通过训练具有条件生成空间的扩散模型，合成多样的内容感知条件，并有目的地抽样该空间来合成有效的数据样本，实现增加数据多样性并提升三维手部网格重建性能。

Abstract

Reconstructing 3d hand mesh robustly from a single image is very challenging, due to the lack of diversity in existing real-world datasets. While data synthesis helps relieve the issue, the syn-to-real gap still hinders its usage. In this work, we present HandBooster, a new approach to

3d hand mesh data synthesis conditional generative space diffusion model interaction poses

发现论文，激发创造

ArtiBoost: 基于在线探索和合成技术提升带有关节的三维手 - 物体姿态估计

提出了一种名为 ArtiBoost 的轻量级在线数据增强方法，通过对合成手 - 物体配置和视点空间进行采样，可以覆盖多样的手 - 物体姿态和相机视点，并通过损失反馈和样本重新加权来自适应地丰富当前难以区分的项。该方法在几个手 - 物体基准测试上提高了性能。

Sep, 2021

基于虚拟现实的生成逼真合成数据用于训练手 - 物体追踪模型

通过使用 Blender 软件开发的交互式合成数据生成器 blender-hoisynth，本研究提出了一种用于精确跟踪三维手 - 物体交互的有监督学习模型，以解决大量标注数据和非专业人员标注三维真值在二维图像上的困难问题。该生成器可生成高度真实和具有物理合理性的视频数据，用于训练 HOI 重建模型。通过使用这些合成数据替代 DexYCB 数据集的训练数据，实验证明数据替代并不会明显降低模型性能。

Jan, 2024

HOIDiffusion: 生成真实的三维手物体交互数据

利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

Mar, 2024

合成数据对自我中心手 - 物互动检测有用吗？调查与 HOI-Synth 领域迁移基准

通过使用合成数据和域适应技术，我们在自我中心视觉领域研究了提高手物交互检测的有效性。我们介绍了一个模拟器，能够自动生成带有手物接触状态、边界框和像素级分割掩码的合成图像。通过对三个自我中心数据集（VISOR，EgoHOS，ENIGMA-51）的全面实验和比较分析，我们证明了合成数据和域适应技术的使用可以在只对一小部分真实数据进行标注的情况下，实现与传统监督方法相当的性能。当使用由真实目标环境和对象的 3D 模型生成的领域内合成数据进行测试时，我们最好的模型在性能上与仅基于标记真实数据的标准完全监督方法相比表现出持续的改进。我们的研究还为自我中心手物交互检测（HOI-Synth）设定了一个新的域适应基准，并提供了鼓励该领域进行此挑战性任务的基准结果。我们在以下链接上发布了生成的数据、代码和模拟器：this https URL

Dec, 2023

SynH2R：用于学习人机交接的合成手 - 物体动作

通过引入适合训练机器人的合成数据，我们提出了一个能够生成逼真人类抓取动作的框架，通过对合成数据的纯训练，证明了我们的方法在模拟环境和真实系统中与依赖真实人类动作数据的最先进方法相媲美，并且能够扩展到更多未知物体和人类动作的大规模评估。

Nov, 2023

MM-Hand: 3D 感知的多模式导向的手部生成网络用于 3D 手势合成

该论文提出了一种学习为基础的方法，使用 3D 姿态信息来合成逼真、多样和保留 3D 姿态的手图像，并通过基于几何的课程学习策略使增强数据能够持续提高最先进的 3D 手位姿估计器的定量性能。

Oct, 2020

野外场景下基于弱监督网格卷积的手部重建

本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构，大大优于最先进的方法，在野外基准测试中将误差减半。

Apr, 2020

G-HOP: 交互重建和抓取合成的生成式手 - 物体先验模型

我们提出了 G-HOP，一种基于去噪扩散的生成先验，用于手 - 物体交互，可以对 3D 物体和人手进行建模，并条件于物体类别。我们通过使用骨骼距离场来表示人手，从而得到与物体（潜在）有向距离场对齐的表示，学习一个可以捕捉这种联合分布的 3D 空间扩散模型。我们展示了这个手 - 物体先验可以作为通用指导，在交互裁剪的重建和人手抓取合成等其他任务中发挥作用。我们相信，我们的模型通过汇集 155 个类别的七个多样化的现实世界交互数据集进行训练，提供了一种联合生成手和物体的初次尝试。我们的实证评估表明，在基于视频的重建和人手抓取合成方面，这个联合先验具有超越当前任务特定基准的优势。

Apr, 2024

使用生成模型的合成数据在野外进行的 3D 人体重建

通过基于扩散模型的 HumanWild 方法，我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补，从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。

Mar, 2024

HandAugment：基于深度的三维手部姿态估计的简单数据增强方法

本文提出了 HandAugment，一种方法来合成图像数据以增强神经网络的训练过程，在 HANDS 2019 挑战赛中，该方法取得了深度为基础的 3D 手部姿势估计任务的第一名。

Jan, 2020