SMPLpix:基于 3D 人体模型的神经化身
提出了一种新的参数化模型 SMPLX-Lite-D,可以适应扫描网格的详细几何结构,同时保持脸部、手部和脚部区域的稳定几何结构。利用 SMPLX-Lite 数据集,训练了一个条件变分自编码器模型,以人体姿势和面部关键点作为输入,生成逼真的可驾驶人体化身。
May, 2024
使用多视角图像建议一种可伸缩的神经网络框架来重建 SMPL 模型子空间中的人体 3D 网格,并在现实图像上表现优异,特别是在形状估计方面。
Aug, 2019
我们提出了一种新颖的虚拟人物表示方法,用于高度逼真的实时动画和渲染 3D 应用程序。我们从最先进的多视角视频重建中获取高精度的动态网格序列,学习姿态相关的外观和几何形状,并利用统计身体模型来限制搜索空间,以实现更高效、有针对性的学习和定义姿态依赖性。通过在 SMPL 模型的一致 UV 空间中学习观察到的几何与拟合的 SMPL 模型之间的差异,我们能够在模型中编码姿态相关的外观和几何形状,从而不仅保证了较高水平的真实感,还促进了虚拟人物的实时处理和渲染。
Oct, 2023
本文提出 AvatarGen 方法,是第一种通过仅使用 2D 图像训练,能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。
Nov, 2022
通过引入参数驱动的动力学到三维高斯喷点,本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色,并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像,实验证明其在数据集上在定量和视觉上均优于现有的技术。
Dec, 2023
通过基于扩散模型的 HumanWild 方法,我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补,从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。
Mar, 2024
DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架,它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成,并引入了包含规范空间和观察空间的双重空间设计,它们之间由 NeRF 学习的变形场联系,从规范空间将优化的纹理和几何转移到目标位置头像,添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估,证明 DreamAvatar 明显优于现有方法,为文本和形状引导的 3D 人体生成设立了新的技术水准。
Apr, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
为了实现真实的 AR/VR 和数字娱乐体验,我们提出了第一个点云人物模型,它涵盖了数字人物的全部表达范围。我们使用两个多层感知器来建模姿势相关的变形和线性蒙皮权重。外观的表示依赖于解码器和附加到每个点的特征。与替代的隐式方法相比,朝向点的表示不仅提供了更直观的方式来建模人物动画,还显著减少了训练和推理时间。此外,我们提出了一种新的方法将语义信息从 SMPL-X 模型转移到点云中,从而更好地理解人体运动。通过利用点的语义信息,我们可以通过在不同主体之间交换相同类别的点来促进虚拟试穿和人物组合。实验结果证明了我们提出方法的效果。
Nov, 2023
该研究通过使用可以捕捉衣物粗糙表面几何特征的学习的非规范化本地变形来解决现有点云或隐式表面建模方法对衣服建模的不足,可以用于学习人物特定的化身并演示其动画效果,并能从原始扫描直接学习,使得创建逼真化身的过程大大简化。
Sep, 2022