一个重新照明的三维交互手部数据集
该篇论文针对手 - 手互动的行为研究提出了 InterNet 网络和 InterHand2.6M 数据库,用于从单个 RGB 图像中实现三维互动手势姿态估计,获得更准确的结果。
Aug, 2020
为了提高手部姿势估计的准确性,研究提出了一个大规模的合成数据集 RenderIH,其中包含 100 万张具有不同背景、视角和手部纹理的逼真照片。为了生成自然和多样化的交互姿势,提出了一种新的姿势优化算法。而用于姿势估计的基于 Transformer 的模型 TransHand 则能够利用交互手部之间的相关性,并验证 RenderIH 在改善结果方面的有效性。经过实验证明,使用该合成数据集进行预训练可以显著将误差从 6.76mm 降至 5.79mm,并且 TransHand 在性能上超越了其他方法。
Sep, 2023
通过 4DHands 方法,从单目输入中恢复互动手部网格及其相对运动,处理了自由手图像输入和两只手的位置关系的限制,并通过新颖的分词和特征融合策略提出了一种基于 Transformer 的架构。
May, 2024
提出了首个从单目事件摄像机中跟踪两只快速移动和互动的手的三维跟踪框架,通过新颖的半监督特征注意机制解决左右手歧义并整合相交损失来修复手的碰撞,推出了新的大规模数据集 Ev2Hands-S 和真实事件流与真实三维标注的基准数据集 Ev2Hands-R,并在强光条件下对真实数据具有更高的三维重建精度。
Dec, 2023
本文提出了一个分解迭代框架来实现像素对齐的手部重建,同时有效地建模手部之间的空间关系,利用图卷积网络和变压器在 3D 联合特征空间中进行手部内部和交互信息交互,并通过在两个特征空间中进行多个交替增强来实现精确和稳健的相互作用手部重建。 与所有现有的两只手重建方法相比,我们的方法在 InterHand2.6M 数据集上的表现都有了很大的提高。同时,我们的方法展现了对野外图像的强大的泛化能力。
Feb, 2023
该研究提出了一种新的处理双手交互姿态估计的方法,包括手部去遮挡和干扰物去除,建立了大规模合成数据集以促进研究发展,并显示该方法显著优于先前的同类研究。
Jul, 2022
该论文提出了一种使用单个 RGB 相机捕捉人手骨骼姿势和三维表面几何形状的实时方法,并考虑到了人手间的近距离交互情况,该方法通过多任务 CNN 回归多种信息,包括分割、对 3D 手模型的密集匹配、2D 关键点位置,以及新提出的手内相对深度和手间距离图。该方法已在 RGB 两只手追踪和三维重建方面实验验证,并且在量化和定性上优于现有的非针对两只手交互设计的基于 RGB 的方法,甚至与基于深度的实时方法相媲美。
Jun, 2021
本论文提出了一种新思路,用于实时跟踪并重构双手的姿态和形状。该方法通过能源最小化框架,将手部姿态和形状模型以及基于深度神经网络的高密度对应预测器嵌入其中,以实现快速运行,实时处理以及自动化调整。同时,文中还提到,该模型得到了场景复杂度不断升级的改进,并达到了同类研究领域的最高水准。
Jun, 2021
提出了一个新的数据集 HandDiffuse12.5M,它是一个包含强烈的双手互动时间序列的数据集,用于可控的互动手势生成;通过扩散模型和设计不同控制器的两种运动表示方法,进一步提出了强基准方法 HandDiffuse;实验证明,该方法在运动生成方面优于现有技术,同时可用于其他数据集的数据增强。
Dec, 2023
我们提出了 Implicit Two Hands (Im2Hands),这是第一个用于表示两只交互手的神经隐含表示方法。与现有的两手重建方法不同,Im2Hands 可以生成高度与图像一致的两只手的细粒度几何图形,同时解决了形状复杂性和交互背景带来的问题。我们的实验结果表明,与相关方法相比,Im2Hands 在两手重建方面取得了最先进的结果。
Feb, 2023