人体高斯扩散:可动化虚拟形象的实时渲染
用高斯散焦渲染的三角网格中嵌入了高保真度人类虚拟角色的混合三维表示,可在现代 GPU 上达到每秒 300 帧,移动设备上达到每秒 30 帧,并通过显式网格几何和隐式外观模型化人物的运动与外观。
Mar, 2024
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023
提议了 ASH 方法,一种用于实时渲染动态人物的可控逼真的动画高斯样本化方法,相比其他现有的实时方法,在姿势可控的人物形象方面表现出色,与离线方法相比表现相当甚至更好。
Dec, 2023
使用高斯飞溅生成逼真的可动化虚拟角色,并通过基于文本描述的图像生成方法,解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制,具有出色的外观和几何质量,并具有极快的渲染速度(100 FPS)以及 1K 分辨率。
Dec, 2023
本研究提出了一种名为 GaussianBody 的新型服装人体重建方法,基于 3D 高斯散射模型。该方法通过显式姿势引导形变,引入基于物理的先验知识和正则化变换来解决动态人体重建过程中的非刚性变形和丰富的服装细节等问题。实验证明,该方法在动态穿着服装的人体重建方面能够实现最先进的逼真视角渲染效果,同时还能明确地重建几何结构。
Jan, 2024
我们提出了一种名为 SplatArmor 的新方法,通过在 3D 高斯函数中将参数化的人体模型 “装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个 SE (3) 场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的 HeadGaS 模型,其利用可学习的潜在特征扩展了 3DGS 的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS 在实时推理帧率方面取得了最先进的结果,超过基线约 2dB,并将渲染速度加速至 10 倍以上。
Dec, 2023
GauHuman 是一个 3D 人体模型,通过高斯飞溅实现快速训练(1 ~ 2 分钟)和实时渲染(最高 189 FPS),与现有的基于 NeRF 的隐式表示建模框架相比,后者需要几个小时的训练和每帧几秒钟的渲染。
Dec, 2023
从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡,表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域(如头发和网格之外的衣物)应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上,我们的方法的重建质量与最先进方法相当,而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。
Apr, 2024