具有跨表示对齐的自监督人体网格恢复
通过使用中间的二维表示,可学习的校准和三角测量来适应更多样化的相机设置,逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义,通过广泛的基准测试,特别是针对野外场景的未见过的情况下,我们展示了所提出的解决方案的优越性。
Dec, 2022
本研究提出了一种无模型的 3D 人体网格估计框架 DecoMR,通过显式建立网格和局部图像特征在 UV 空间中的密集对应关系来重建人体 3D 网格,并设计了一种新的连续 UV 映射,优于现有的基于 3D 网格的方法。
Jun, 2020
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本文提出使用多视角图像而无需注释,来学习一个具有几何感知能力的身体表示,通过使用该身体表示,我们的方法在仅使用少量标记数据的情况下,显著优于完全监督的方法,并且在使用仅 1% 标记数据时,也优于其他半监督方法。
Apr, 2018
提出了一种新方法,通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触,并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习,进而提高每个正向遍历的准确性和速度。
Jun, 2023
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架 / 训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
本研究提出了一种几何感知的人体姿态三维表示方法,通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督,在训练阶段建立共享的 3D 表示,进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明,该方法能够显著提高现有姿态估计方法的性能。
Mar, 2019
通过使用新颖的神经表示,我们提出了一种部署友好的、快速的自下而上的多人三维人体姿态估计框架;进一步,我们基于跨模态的对齐问题,提出了一种实用的部署范式,使得我们的模型不仅能够处理现实世界的图像,而且在速度与性能之间实现了更好的平衡。
Aug, 2020
我们提出了一种名为 Dense Inpainting Human Mesh Recovery (DIMR) 的两阶段方法,利用密集的对应关系图处理遮挡问题,采用基于注意力机制的特征完成模块,通过特征修补训练过程指导网络从非遮挡特征中学习,实验证明我们的方法在重度遮挡场景下表现优异,并在标准基准(3DPW)上取得可比较的结果。
Jul, 2023