高效手部网格重建的简单基线
本文提出了一种利用素材学习获取双手的网络来实现手的重建,其中考虑了两种不同的手表示法。通过引入 Mesh-Mano interaction blocks(MMIBs)以及 mesh alignment refinement module,我们的方法在 InterHand2.6M 基准上的表现优于现有的手重建方法,生成效果明显。
Mar, 2023
提出了一种单视图手部网格重建框架,采用 2D 编码和 3D 解码,结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度,并通过特征提升模块实现 2D 和 3D 表示之间的桥梁。实验证明,该框架达到了优越的重建精度和时间上的一致性,具有超高的推理速度。
Dec, 2021
本研究介绍了在嵌入式设备上部署高效率 2.5D 手部姿势估计所需的数据、架构和训练过程,提出了标签和增强策略,并综合多模块网络构件和辅助多任务训练策略实现了与 MobileNetV2 相当性能的模型。该模型具有小的内存占用和高效的计算能力。
Sep, 2019
从单眼输入中重建 3D 手部,利用基于 Transformer 的 HaMeR 方法,通过大规模数据训练和深度网络容量的扩展,对手部进行精确且鲁棒性增强的分析,并在流行的 3D 手部姿势基准测试中始终优于先前基准线。
Dec, 2023
研究了基于骨架动作识别中如何提取骨架联结的区分特征所面临的问题,提出了一种基于图卷积网络的高效的 GCN 基线。通过提出的复合扩展策略,在 NTU RGB+D 60 和 120 数据集上,其 EfficientGCN-B4 基线性能超越其他 SOTA 模型,且模型规模更小、训练速度更快。
Jun, 2021
本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands,我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测,提供了强大的模型基线。我们提出了一种非模型方法,在后处理阶段合并多视图结果,以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外,我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE,并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。
Oct, 2023
利用虚拟现实、增强现实和手势控制等技术的快速发展,用户期望与计算机界面的交互更加自然和直观。本研究提出了一种网络模型,可从单目 RGB 图像中恢复相机空间中的 3D 手部网格,以实现准确和可靠的绝对空间预测。通过在大规模手部数据集 FreiHAND 上的评估,我们证明了我们提出的模型与最先进的模型具有可比性,为各种人机交互应用中的准确可靠的绝对空间预测技术的发展做出了贡献。
May, 2024
本研究提出了一种使用 YouTube 视频的弱监督网格卷积系统的简单而高效的单目 3D 手部姿势估计网络架构,大大优于最先进的方法,在野外基准测试中将误差减半。
Apr, 2020
研究 3D 手势姿势估计中不同类型方法的泛化能力,并通过公开挑战评估插值和外推的训练集姿势的能力,透彻分析了数据预处理、集成方法、使用参数化的 3D 手模型(MANO)以及不同的 HPE 方法 / 骨干网络对 3D 手姿势估计的影响,使得总体精度从基线的 27mm 提高到 13mm,尤其是在外推任务中。
Mar, 2020