分层运动学人类网格恢复
该论文提出了一种新的框架,利用深度神经网络和 Hierarchical Mesh Deformation 技术综合使用人体关节、轮廓和像素的着色信息,从而在单张图片中精确恢复人体形状。实验证明,我们的方法在 2D IoU 计算和 3D 距离计算的准确度上都优于现有的其他方法。
Apr, 2019
本文提出了一种名为 HMR 的端到端框架,可从单个 RGB 图像恢复人体的完整 3D 网格,通过优化关键点的后投影损失来训练模型,并使用对抗神经网络解决了模型参数欠约束的问题,最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。
Dec, 2017
提出一种新模型 HumanMeshNet,它在多分支、多任务设置下,通过回归模板网格的顶点以及使用三维骨架位置进行规则化,隐式地学习了网格表示,从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建,并在三个公开数据集上展示了可比较的表面精度和关节误差性能。
Aug, 2019
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架 / 训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
通过训练深度神经网络,使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布(即身体姿态)和 SMPL 身体形状参数的高斯分布,实现了对 3D 人体形状和姿态的分布性预测,能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式,从而解释给定的输入图像。
Oct, 2021
提出一种结合骨架模型、将人类网格划分为多个局部部分并使用单独的循环模型建模每个局部部分动态的新方法,进行视频网格恢复,最终实现了在多个基准数据集上的最先进结果。
Jul, 2021
提出了一种新方法,通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触,并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习,进而提高每个正向遍历的准确性和速度。
Jun, 2023
本研究提出了一种粗到细的流程来解决从单眼 RGB 图像中估计多人物 3D 姿态和形状网格的问题,并且通过 Transformer-based refinement 和克服因人与人之间的遮挡而引入的不确定性,优于现有技术,在 3DPW,MuPoTS 和 AGORA 数据集上进行广泛实验得出了实验证明。
Oct, 2022
通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状,从而提出了隐式三维人体网格恢复 (ImpHMR) 方法,并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。
Jun, 2023
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020