RenderIH: 一个用于 3D 交互式手势姿势估计的大规模合成数据集

ICCVSep, 2023

RenderIH: 一个用于 3D 交互式手势姿势估计的大规模合成数据集

RenderIH: A Large-scale Synthetic Dataset for 3D Interacting Hand Pose Estimation

Lijun Li, Linrui Tian1, Xindi Zhang, Qi Wang, Bang Zhang...

TL;DR为了提高手部姿势估计的准确性，研究提出了一个大规模的合成数据集 RenderIH，其中包含 100 万张具有不同背景、视角和手部纹理的逼真照片。为了生成自然和多样化的交互姿势，提出了一种新的姿势优化算法。而用于姿势估计的基于 Transformer 的模型 TransHand 则能够利用交互手部之间的相关性，并验证 RenderIH 在改善结果方面的有效性。经过实验证明，使用该合成数据集进行预训练可以显著将误差从 6.76mm 降至 5.79mm，并且 TransHand 在性能上超越了其他方法。

Abstract

The current interacting hand (IH) datasets are relatively simplistic in terms of background and texture, with hand joints being annotated by a machine annotator, which may result in inaccuracies, and the diversity of pose distribution is limited. However, the variability of background, pose distribution, and texture can greatly influence the generalization a

interacting hand datasets pose optimization algorithm photo-realistic images hand pose estimation dataset renderih

发现论文，激发创造

一种基于单一 RGB 图像的立体交互手姿态估计数据集和基准线

该篇论文针对手 - 手互动的行为研究提出了 InterNet 网络和 InterHand2.6M 数据库，用于从单个 RGB 图像中实现三维互动手势姿态估计，获得更准确的结果。

Aug, 2020

Hi5：零人工标注的 2D 手部姿态估计

提出一种新的大规模合成手部姿态估计数据集 Hi5 以及一种新的廉价方法来收集高质量合成数据，无需人工注释或验证。在计算机图形学的最新进展下，利用具有多样性性别、肤色和动态环境和摄像机移动的高保真度 3D 手部模型，我们的数据合成流程可以精确控制数据多样性和表示，确保健壮和公平的模型训练。通过使用一台普通消费级个人电脑，我们生成了一个包含 583,000 张图像和准确的姿态注释的数据集，这个数据集紧密地代表了现实世界的变异性。使用 Hi5 训练的姿态估计模型在真实手部基准测试中表现出竞争力，而在遮挡和扰动测试中超过了使用真实数据训练的模型。我们的实验显示出合成数据作为解决现实数据集中数据表示问题的可行方案的有希望的结果。总体而言，本文提供了一种有希望的新方法来创建和注释合成数据，可以降低成本并增加手部姿态估计的数据多样性和质量。

Jun, 2024

一个重新照明的三维交互手部数据集

该研究提出了 Re:InterHand 数据集，通过使用先进的手部重光网络和准确跟踪的两只手的三维姿势，实现了多样和逼真的图像外观和多样和大规模的地面真实（GT）三维姿势，在现有的三维互动手数据集的基础上进行了对比，并展示了其益处。

Oct, 2023

通过手部去遮挡和去除实现的 3D 交互手势姿态估计

该研究提出了一种新的处理双手交互姿态估计的方法，包括手部去遮挡和干扰物去除，建立了大规模合成数据集以促进研究发展，并显示该方法显著优于先前的同类研究。

Jul, 2022

基于虚拟现实的生成逼真合成数据用于训练手 - 物体追踪模型

通过使用 Blender 软件开发的交互式合成数据生成器 blender-hoisynth，本研究提出了一种用于精确跟踪三维手 - 物体交互的有监督学习模型，以解决大量标注数据和非专业人员标注三维真值在二维图像上的困难问题。该生成器可生成高度真实和具有物理合理性的视频数据，用于训练 HOI 重建模型。通过使用这些合成数据替代 DexYCB 数据集的训练数据，实验证明数据替代并不会明显降低模型性能。

Jan, 2024

大规模多视角 3D 手势姿态数据集

提出一个多视角手势姿势数据集和一个既简单又准确的、用于实时鲁棒的 2D 手势姿势估计的深度学习框架。

Jul, 2017

FreiHAND：单张 RGB 图像无标记手势姿态和形状数据集

本研究介绍了一个大型多视角手部数据库，并提出了一种迭代的半自动方法，用于将三维手部姿势和形状标注应用于该数据库，以解决基于单个 RGB 图像的三维手部姿势估计的高度不确定性问题，并评估了模型的性能。

Sep, 2019

BigHand2.2M 基准测试：手势姿态数据集和最新技术分析

介绍了一种新的捕捉方法和跟踪系统，自动获取 21 个关节点的手部姿势数据，并通过新数据集和卷积神经网络对自我视角手势估计和交叉基准性能进行显著改进。

Apr, 2017

DeepHPS: 基于合成深度学习的端到端三维手部姿态和形状估计

通过使用卷积神经网络结构，从单个深度图像中学习手部姿势，骨骼比例和复杂形状参数，以及使用一个新的手部姿势和形状层来产生 3D 关节位置和手部网格，利用 SynHand5M 数据集，在综合数据集上展示了良好的效果。

Aug, 2018

HOIDiffusion: 生成真实的三维手物体交互数据

利用 HOIDiffusion 方法生成了逼真且多样化的三维手物体交互数据，并将其用于学习 6D 物体位姿估计，提高感知系统的效果。

Mar, 2024