STMR:螺旋变压器用于手部网格重建
本文提出了一种spin match算法,并基于该算法提出了一种有效的多视角手部网格数据集生成方法,证明使用该数据集训练的手部姿态估计器大幅提升性能,从而达到了0.990 AUC$_{20-50}$的性能,且数据集内容公开。
Dec, 2020
本研究提出了一种名为MEsh TRansfOrmer(METRO)的新方法,该方法使用变压器编码器来同时建模顶点-顶点和顶点-关节交互,并从单个图像中输出3D关节坐标和网格顶点,其非依赖于任何参数化网格模型,可以轻松地扩展到其他对象,如手的3D重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效,在公共数据集Human3.6M和3DPW上为人类网格重建生成了最新的最先进结果。此外,我们展示了METRO到野外3D手重建的泛化能力,在FreiHAND数据集上性能优于现有最先进方法。
Dec, 2020
本文提出一种名为Mesh Graphormer的图卷积强化Transformer,可从单张图像中重建3D人体姿势和网格。实验结果表明,该方法在多个基准测试中显著优于先前的最先进方法。
Apr, 2021
提出了一种单视图手部网格重建框架,采用2D编码和3D解码,结合了轻量级有效的堆叠结构和深度可分螺旋卷积的高精度和高速度,并通过特征提升模块实现2D和3D表示之间的桥梁。实验证明,该框架达到了优越的重建精度和时间上的一致性,具有超高的推理速度。
Dec, 2021
利用一种基于扩散的手部三维网格重建框架——DiffHand,利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程,设计跨模态解码器来更好地模拟手顶点的连通性,从而达到优于先前方法5.8mm PA-MPJPE的最优表现。
May, 2023
利用深度图进行真实的3D手物体形状和姿态重建方法,通过基于体素的重建网络回归手和物体的顶点坐标,预测体素化的手物体形状,并利用图形网络通过位置嵌入从模板网格中重建形状,并表明手物体交互对于更准确的物体形状重建有影响,该方法在手重建和物体重建方面优于现有方法,能够产生可信的重建结果。
Oct, 2023
通过单视角到多视角自适应的SiMA-Hand方法,在3D手部网格估计中解决了遮挡问题,并且在重建性能上取得了卓越的表现。
Feb, 2024
通过训练具有条件生成空间的扩散模型,合成多样的内容感知条件,并有目的地抽样该空间来合成有效的数据样本,实现增加数据多样性并提升三维手部网格重建性能。
Mar, 2024
通过引入状态空间建模到手部姿态估计领域,我们提出了一种简单高效的三维手部网格重建网络HandSSCA,其中设计了一种新颖的状态空间通道关注模块来提取空间维度上的手部特征并增强通道维度上的手部区域特征,实验结果表明我们的HandSSCA在重建完整且详细的手部网格方面达到了最先进的性能。
May, 2024
通过4DHands方法,从单目输入中恢复互动手部网格及其相对运动,处理了自由手图像输入和两只手的位置关系的限制,并通过新颖的分词和特征融合策略提出了一种基于Transformer的架构。
May, 2024