LiDAR-HMR: LiDAR 中的 3D 人体网格恢复
本篇文章调查了单目三维人体网格恢复的相关任务,包括身体模型,恢复框架 / 训练目标,数据集评估指标和评测结果,并从优势和劣势方面深入分析了两种范式:优化和回归。作者希望激励研究人员的兴趣,促进该领域的研究。
Mar, 2022
提出了一种新方法,通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触,并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习,进而提高每个正向遍历的准确性和速度。
Jun, 2023
使用 RGB 和 LiDAR 技术的端到端架构,以前所未有的准确度预测绝对的三维人体姿势,同时采用 PedX 的二维姿态注释生成三维预测。
Oct, 2020
本文提出了一种名为 HMR 的端到端框架,可从单个 RGB 图像恢复人体的完整 3D 网格,通过优化关键点的后投影损失来训练模型,并使用对抗神经网络解决了模型参数欠约束的问题,最终实现了在野外图像中直接从像素预测人体姿态和形状参数的目标。
Dec, 2017
本文提出了一种基于简单的特征采样方案的 3D 人体网格重建方法,该方案利用嵌入空间中的点作为引导,有助于模型更集中地关注 2D 空间中的与网格相关性的特征,进而重建出自然的人体姿态,并且应用渐进的注意屏蔽机制来精确估计网格之间的局部交互。
Apr, 2023
本文提出了一个名为 VoteHMR 的方法,利用包括关节级别特征和输入点云全局特征的信息,通过新颖的遮挡感知投票网络从单帧部分点云中重建可靠的 3D 人类形态,并通过运动学树将关节级别特征填充完成亚像素级参数预测,使得方法在各项指标上均超过先前的工作。
Oct, 2021
该论文提出了一种新的框架,利用深度神经网络和 Hierarchical Mesh Deformation 技术综合使用人体关节、轮廓和像素的着色信息,从而在单张图片中精确恢复人体形状。实验证明,我们的方法在 2D IoU 计算和 3D 距离计算的准确度上都优于现有的其他方法。
Apr, 2019
提出一种新模型 HumanMeshNet,它在多分支、多任务设置下,通过回归模板网格的顶点以及使用三维骨架位置进行规则化,隐式地学习了网格表示,从而实现虚拟、增强现实平台、动画行业、电子商务领域等方面的实时重建,并在三个公开数据集上展示了可比较的表面精度和关节误差性能。
Aug, 2019
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020
提出了一种基于已知层次结构的人体参数化模型回归新技术,旨在更加灵活应用于当前标准的三维人体网格恢复框架,并通过实验数据证明其性能优于现有方法,能在数据损坏下推断关节。
Mar, 2020