从单张图片中重建互动多人穿着的 3D 模型
本研究提出了一种新的端到端学习框架,可以从一张图像中获取多人的详细且具有空间连续性的重建,并能解决多人姿态、遮挡、衣着等问题带来的困难,实现了对穿衣人体在任意姿势下的模型自由_implcicit 3D 重建和同步估计。针对模型和数据集,实验结果表明,该方法与现有的竞争方法相比,具有更高的精度和完整性,呈现了最先进的性能。
Apr, 2021
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
本研究针对单张图像中的多人 3D 姿态估计问题,采用自顶向下的方法,并利用 SMPL 参数化身体模型,提出了基于距离场碰撞损失和深度排序感知损失的网络训练框架,有效解决了结果不连贯的问题,并且在标准的 3D 姿态基准测试中表现出优异性能。
Jun, 2020
该研究论文讨论了通过多个校准相机捕捉的近距离互动中多个个体的姿势重建的挑战性任务,并提出了一种整合了学习为基础的姿势估计组件和相应的训练和推断策略的系统。该系统利用多视图 2D 关键点热图作为输入,使用 3D 条件体积网络重建每个个体的姿势,通过合成大规模的模拟测试场景中真实数据分布的训练数据集,实现了对姿势准确性的显著提升,并且在不同相机配置和人群规模下具有很好的泛化性能。
Jan, 2024
本文提出了一个高效的三维服装化身重建框架。该框架通过高精度的基于优化的方法和高效的基于学习的方法相结合,以从单个图像中实现高保真度的服装化身重建为目标。通过在规范空间中以基于学习的方式使用隐式模型来学习人的一般形状,并通过以优化方式在姿态空间中估计非刚性变形来细化表面细节,使用超级网络来生成良好的初始化,从而极大地加速了优化过程的收敛。在各种数据集上的大量实验表明,所提出的服装化身重建框架成功地为现实场景中的任意穿着的人类产生了高保真度的化身。
Apr, 2023
本文提出了一种端到端可训练模型,以单个 RGB 图像感知 3D 场景,估计相机姿态和室内布局,并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失,我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知,这是第一个在网格级别输出对象和人体预测,并对场景和人体姿态进行联合优化的模型。
Dec, 2020
本文提出了 Crowd3D 框架,用于从单个广角场景图像中重建数百人的三维姿态、形状和位置,该方法基于新定义的 Human-scene Virtual Interaction Point(HVIP)的像素定位来解决复杂场景中的人群定位问题,并使用 adaptive human-centric cropping 方案进行处理,同时贡献了一组用于场景人群重建的基准数据集 LargeCrowd。
Jan, 2023
使用一个人的动态视频,通过引入新颖的组合式人体建模框架,结合显式建模和隐式建模的方法,实现高质量的服装 3D 人体化身建模,解决了缺乏几何和其时间对应关系的 3D 真值数据的挑战,成功地生成了具有运动相关几何和纹理的服装 3D 人体化身。
Dec, 2023
通过对场景信息和先前知识进行建模,我们提出了一种新的方法来从 RGB-D 图像中重建带有遮挡的 3D 人体,通过建模可能的姿势空间并使用深度数据约束可见身体部分,我们的方法在 PROX 数据集上的实验结果表明,与其他方法相比,能够产生更准确和合理的结果。
Oct, 2023