使用单幅图像进行实时推断和渲染逼真的三维人体外貌的 R$^2$Human 方法结合了隐式纹理场和显式神经渲染的优势,利用新的表示法 Z-map 并通过傅里叶占用场重建了精细的三维几何,从而在合成数据和挑战性的现实世界图像上取得了最先进的性能。
Dec, 2023
本文提出了一种基于学习的模型,利用少量单目视频帧 (1-8 帧) 从移动的人中推断出其个性化的 3D 形状,可在不到 10 秒内达到 5mm 的重建精度。该模型学习预测一个统计体型模型的参数和实例化偏移量,同时加入衣服和头发的形状,具有快速和准确的预测,这得益于其对 T-pose 空间的预测和从上往下和从下往上两个视图预测的结合。该模型仅基于合成的 3D 数据进行学习,可将可变数量的帧作为输入,即使仅有一张图像,也能以 6mm 的精度重建形状。3 个不同数据集的结果表明了本方法的有效性和准确性。
Mar, 2019
我们提出了 IntrinsicAvatar,一种从仅单目视频中恢复着装人类角色的内在属性,包括几何、反射率、材质和环境光照的新方法。
通过使用隐式的场景元素特征表征来区分合理和不合理的人体和物体对齐,在机器人感知中提出了一个以图形为基础的整体三维人体场景重建的方法,该学习方法实现了与现有基于优化的方法相当的三维重建质量,且不需要推理时间优化,适用于机器人导航等潜在应用中。
Jul, 2023
DiffHuman 是一种基于概率的方法,通过一个单一的 RGB 图像实现逼真的三维人体重建。与确定性方法不同,DiffHuman 根据二维图像预测三维重建的概率分布,可以生成与图像一致的多个详细的三维人体模型。此外,DiffHuman 还引入了一个生成器神经网络,可以以大幅减少的运行时间进行渲染,从而实现了一种新颖的双分支扩散框架。在实验中,DiffHuman 在重建可见表面方面与现有技术不相上下,并且可以对输入图像中未见或不确定的部分生成多样且详细的重建结果。
Mar, 2024
本研究通过引入 PIFu 算法和使用表面本地化算法以及在线难例挖掘技术,从而在不需要昂贵的多视图系统或繁琐的预定义模型的情况下,从单眼视频中实时捕捉和渲染了一个完整的实纹三维人体。
Jul, 2020
我们介绍了 PGAHum,一种先验引导的几何与外观学习框架,用于高保真度可动人体重建。我们在三个关键模块中充分利用 3D 人体先验,实现了具有细节丰富的几何重建和能在未见过的姿势上合成逼真视图的高质量结果。
Apr, 2024
本文提出一种基于深度神经网络的人体三维姿态和形状重建方法,使用全身统计 3D 人体模型和学习技巧来优化模型并将其应用于自监督模式下的姿态和形状状态重建,并基于新颖的循环方式更新姿态和形状参数,从而实现了优化损失和度量反差的统一,测试结果表明其在 H3.6M 和 3DPW 等数据集上均获得了极具竞争力的结果。
Aug, 2020
利用几何约束和物理先验来提高动态人体重建的质量和稳定性,实现更准确的图像和新视角合成。
Nov, 2023
提出了一种利用低成本深度相机从单视角和稀疏 RGB-D 传感器中捕获任意人物,并从未见过的视角生成逼真渲染的视图合成框架。该方法可重建面部表情,具有良好的鲁棒性和高质量的渲染效果,优于之前的视图合成方法。
Dec, 2021