SplattingAvatar:基于网格嵌入高斯簇状点绘制的逼真实时人类头像
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
使用高斯飞溅生成逼真的可动化虚拟角色,并通过基于文本描述的图像生成方法,解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制,具有出色的外观和几何质量,并具有极快的渲染速度(100 FPS)以及 1K 分辨率。
Dec, 2023
通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型,我们介绍了一种新的方法 ——GaussianAvatars,用于创建在表情、姿势和视角方面可完全控制的逼真头像。
Dec, 2023
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
我们提出了一种名为 SplatArmor 的新方法,通过在 3D 高斯函数中将参数化的人体模型 “装甲”,从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数,其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果,我们引入了一个 SE (3) 场,允许捕捉高斯函数的位置和各向异性。此外,我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果,证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法,它利用了不可区分性和优化挑战,而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮,并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。
Nov, 2023
通过 3D 高斯模糊表示 animatable 的人物及其所在的场景,以实现对动画人物的新姿势合成和人物和场景的新视图合成,并在提高渲染质量的同时,训练速度更快。
Nov, 2023
我们提出了可驾驶的三维高斯化身模型(D3GA),这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试(或两者都需要)不同,我们使用最近提出的三维高斯分布点技术(3DGS)以实时帧率渲染逼真的人体,使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法(LBS)不同,我们使用经典的容积形变方法来变形这些形状,即笼状形变。我们使用关节角度和关键点驱动这些形变,因为它们更适用于通信应用。当使用相同的训练和测试数据时,我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。
Nov, 2023
GauHuman 是一个 3D 人体模型,通过高斯飞溅实现快速训练(1 ~ 2 分钟)和实时渲染(最高 189 FPS),与现有的基于 NeRF 的隐式表示建模框架相比,后者需要几个小时的训练和每帧几秒钟的渲染。
Dec, 2023
通过引入参数驱动的动力学到三维高斯喷点,本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色,并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像,实验证明其在数据集上在定量和视觉上均优于现有的技术。
Dec, 2023
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的 HeadGaS 模型,其利用可学习的潜在特征扩展了 3DGS 的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS 在实时推理帧率方面取得了最先进的结果,超过基线约 2dB,并将渲染速度加速至 10 倍以上。
Dec, 2023