利用可学习的顶点关系推广在野外场景下的人体姿态和网格重建
提出一种新模型 HumanMeshNet,它在多分支、多任务设置下,通过回归模板网格的顶点以及使用三维骨架位置进行规则化,隐式地学习了网格表示,从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建,并在三个公开数据集上展示了可比较的表面精度和关节误差性能。
Aug, 2019
使用两种解剖启发的损失函数和弱监督学习框架,结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列,并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8%和 12%,并在普通图形卡上以 30 FPS 运行。
Nov, 2017
提出了一种 Pose and Mesh Co-Evolution 网络(PMCE),通过将任务分解为视频中基于 3D 人体姿势估计和来自估计的 3D 姿势和时间图像特征的网格顶点回归,解决了从视频中准确、平滑地恢复 3D 人体运动的问题。实验证明,该方法在三个基准数据集(3DPW、Human3.6M 和 MPI-INF-3DHP)上在逐帧准确度和时间一致性方面优于先前的最先进方法。
Aug, 2023
该研究论文提出了一种基于深度学习和递归神经网络的方法,采用含有 3D 注释的合成单眼视频来恢复完整的 3D 人体姿势,并在定量和定性分析中证明了该方法的有效性。
Jun, 2019
提出了一种新方法,通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触,并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习,进而提高每个正向遍历的准确性和速度。
Jun, 2023
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020
我们提出了一种新颖的虚拟人物表示方法,用于高度逼真的实时动画和渲染 3D 应用程序。我们从最先进的多视角视频重建中获取高精度的动态网格序列,学习姿态相关的外观和几何形状,并利用统计身体模型来限制搜索空间,以实现更高效、有针对性的学习和定义姿态依赖性。通过在 SMPL 模型的一致 UV 空间中学习观察到的几何与拟合的 SMPL 模型之间的差异,我们能够在模型中编码姿态相关的外观和几何形状,从而不仅保证了较高水平的真实感,还促进了虚拟人物的实时处理和渲染。
Oct, 2023
本文提出了一种基于图表的变形网络,实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时,优化了计算效率,具有广泛的实际应用价值。
Jan, 2023
本研究提出了一种名为 MEsh TRansfOrmer(METRO)的新方法,该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互,并从单个图像中输出 3D 关节坐标和网格顶点,其非依赖于任何参数化网格模型,可以轻松地扩展到其他对象,如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效,在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外,我们展示了 METRO 到野外 3D 手重建的泛化能力,在 FreiHAND 数据集上性能优于现有最先进方法。
Dec, 2020
本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法,该方案利用嵌入空间中的点作为引导,有助于模型更集中地关注 2D 空间中的与网格相关性的特征,进而重建出自然的人体姿态,并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。
Apr, 2023