DiffHand: 基于扩散模型的端到端手部网格重建
本文提出了一个新颖的端到端框架,用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层,我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块,我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
Aug, 2023
基于扩散模型,本文提出了 HandDiff,一种基于手型图像点云的迭代去噪准确手势姿态估计模型,旨在通过联合条件和局部细节条件,恢复关键点排列和准确位置,并在四个具有挑战性的手势姿态基准数据集上显著优于现有方法。
Apr, 2024
通过使用概率点云去噪扩散模型,我们提出了一种面向单眼手持物体重建的手感知条件扩散方法(HACD),该方法通过手 - 物体交互的语义和几何角度进行建模,通过手顶点先验将部分去噪点云的质心偏移限制在一个范围内,并通过增强局部特征投影的稳定性和精度来提高形状的重构稳定性和精度,实验证明我们的方法在 ObMan、HO3D 和 MOW 数据集上超过了所有现有方法。
Nov, 2023
本研究提出一种基于弱监督深度编码器 - 解码器框架的高保真手部网格模型,通过使用 3D 关节点坐标和多视角深度图等多种较弱监督手段,避免了对地面真实网格的依赖,并引入穿透避免损失来提高模型真实性,进一步表明所提出的 DeepHandMesh 方法在手部模型重建方面的有效性。
Aug, 2020
基于扩散模型和逆扩散算法的 6D 物体姿态估计框架,在减少噪声和不确定性的基础上实现准确的 2D-3D 对应,并通过对物体特征进行条件优化,取得了较好的性能。
Dec, 2023
HanDiffuser 是一种基于扩散的新型架构,通过在生成过程中注入手部嵌入信息,生成具有逼真手部的图像。它包括两个组件:Text-to-Hand-Params 扩散模型用于从输入文本生成 SMPL-Body 和 MANO-Hand 参数,以及 Text-Guided Hand-Params-to-Image 扩散模型用于以先前组件生成的提示和手部参数为条件合成图像。我们在学习和推断期间综合考虑了手部表达的多个方面,包括 3D 形状、关节级手指位置、方向和屈伸状态,以实现稳健学习和可靠性能。我们进行了大量定量和定性实验,并进行了用户研究,证明了我们的方法在生成具有高质量手部的图像方面的有效性。
Mar, 2024
提出了一个新的数据集 HandDiffuse12.5M,它是一个包含强烈的双手互动时间序列的数据集,用于可控的互动手势生成;通过扩散模型和设计不同控制器的两种运动表示方法,进一步提出了强基准方法 HandDiffuse;实验证明,该方法在运动生成方面优于现有技术,同时可用于其他数据集的数据增强。
Dec, 2023
提出一种新颖的姿态估计框架 (DiffPose),基于扩散模型将 3D 姿态估计描述为一个逆扩散过程,并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程,相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。
Nov, 2022