基于人体模型的身份识别:形状和姿势参数
本文提出了一种名为 HMR 的端到端框架,可从单个 RGB 图像恢复人体的完整 3D 网格,通过优化关键点的后投影损失来训练模型,并使用对抗神经网络解决了模型参数欠约束的问题,最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。
Dec, 2017
该论文提出了一种新的框架,利用深度神经网络和 Hierarchical Mesh Deformation 技术综合使用人体关节、轮廓和像素的着色信息,从而在单张图片中精确恢复人体形状。实验证明,我们的方法在 2D IoU 计算和 3D 距离计算的准确度上都优于现有的其他方法。
Apr, 2019
通过神经特征场可以隐含模拟出人类在 3D 空间中的姿态和形状,从而提出了隐式三维人体网格恢复 (ImpHMR) 方法,并通过 Consistency and Self-supervised 的学习方式实现了姿态和形状参数的预测。
Jun, 2023
DensePose 提供了图像与 3D 网格坐标的像素精确关联,而 Human Mesh Reconstruction(HMR)系统在 DensePose 定位度量中具有较高的 2D 重新投影误差。本文介绍了 MeshPose 并共同解决了 DensePose 和 HMR 问题。通过引入新的损失函数,我们使用弱 DensePose 监督准确定位部分网格顶点('VertexPose'),然后将这些顶点提升到 3D,得到低多边形身体网格('MeshPose')。我们的系统以端到端方式进行训练,是第一个在保持竞争力的 DensePose 准确性的同时,也是轻量级且适用于高效推断的 HMR 方法,因此非常适合实时增强现实应用。
Jun, 2024
本文提出了一种基于图表的变形网络,实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时,优化了计算效率,具有广泛的实际应用价值。
Jan, 2023
本文提出了两种新颖的姿态校准框架,采用先进的 3D 姿态估计器和 HMR 序列或并行方式有效地校准人体网格,通过非刚性姿态变换,可以灵活地处理骨长变化以缓解校准后的网格中的误放置,并通过数据驱动学习和几何建模的通用和互补集成来实现,可用于各种图像 / 视频人体网格的恢复,其在多项基准测试中取得了最新的表现。
Mar, 2021
本文介绍了一种通过 4DHumans 方法从单眼视频中追踪和重建人体动作的技术,通过 transformerized 版本的 HMR 2.0 网络实现人体重建,使用 3D 重建作为输入在 3D 跟踪系统中进行多人追踪并通过深度学习算法实现姿态和动作的识别。
May, 2023
通过采集互联网上的时尚模特图片和一小部分人体测量数据,以及用于各种三维身体网格的语言形状属性,我们训练了一种名为 SHAPY 的神经网络,该模型可从 RGB 图像中回归出三维人物的姿态以及形状。在新的 HBW 数据集上进行测试,SHAPY 在三维人体形状估计任务上表现出色,明显优于现有技术。
Jun, 2022
本篇研究提出了一种名为 BodyNet 的神经网络,通过直接推断体积棱柿,从而预测自然图像中的三维人体形状,同时结合三维损失和多视角重投影损失以及适当的监督,实现了性能的提升;通过将 SMPL 模型应用于网络输出,并在 SURREAL 和 Unite the People 数据集上展示了最先进的结果,证明了本方法的有效性。
Apr, 2018