NPGA: 神经参数高斯阿凡达
介绍了一种利用离散几何基元创建参数化可变形形状模型,并利用三维高斯进行细节表示和高保真渲染的新型框架 PSAvatar,能够重建各种对象的高保真头像,实现实时动画效果(分辨率为 512 x 512,帧率≥25fps)。
Jan, 2024
通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型,我们介绍了一种新的方法 ——GaussianAvatars,用于创建在表情、姿势和视角方面可完全控制的逼真头像。
Dec, 2023
高保真度 3D 头像模型的研究中,轻量级稀疏视图下依然存在很大挑战。本文提出了用可控的 3D 高斯模型表示的高保真度的头像模型。我们优化了中性 3D 高斯模型以及基于完全学习的 MLP 变形场,用于捕捉复杂表情。这两部分互相有益,因此我们的方法可以在保证表情精度的同时模拟细致的动态细节。此外,我们基于隐式 SDF 和深度 Marching Tetrahedra 设计了一个良好的几何引导初始化策略,以确保训练过程的稳定性和收敛性。实验证明,我们的方法优于其他最先进的稀疏视图方法,在夸张的表情下实现了 2K 分辨率下的超高保真度渲染质量。
Dec, 2023
通过引入神经参数高斯(NPGs)模型,本文通过两阶段的方法来重建动态物体,即先学习对象的变形,再通过优化三维高斯模型来获得高质量的物体重建,从而在新视角中保持三维一致性,并在少量多视图线索的挑战性场景中取得优越的结果。
Dec, 2023
基于 3D 高斯原理,我们提出了一个名为 GaussianHead 的头像算法,它在头部几何和三面平面的因素对齐变换有效消除了固定映射引入的偏见,使得在自重建、新视图合成和跨身份再现等任务中获得了最佳的可视效果,并保持高渲染效率(每帧 0.12 秒)。有关代码和其他视频可以在项目主页上找到。
Dec, 2023
该研究介绍了 FAGhead 方法,通过使用单目视频,基于传统的三维可塑网格形状和优化中性三维高斯模型,结合可学习的高斯点位置的基于点的可学习表示场(PLRF),以及通过引入 alpha 渲染来管理化身的边缘,实现了高保真度的三维人头像重建和完全控制虚拟图像的表情和姿态,超越了现有方法的性能。
Jun, 2024
从单目肖像视频中学习具有高效变形能力和渲染效率的头像,提出了使用三维高斯点表示和高斯变形场学习显式头像的新方法。通过适应性形状的高斯点和高斯变形场,实现了与目标姿态和表情相对应的运动,进而实现了高效的变形。同时,高斯点具有可控的形状、大小、颜色和透明度,结合高斯点渲染技术,提高了训练和渲染的效率,实验结果证明了该方法在头像学习中的卓越性能。
Dec, 2023
通过引入 Animatable Gaussians 和强大的 2D CNNs 以及 3D 高斯样条插值方法,我们的方法可以根据输入视频创建高保真度的动态逼真化身,实现虚拟人物的建模和动态外观生成。实验证明,与其他最先进的方法相比,我们的方法具有更好的性能。
Nov, 2023
通过引入参数驱动的动力学到三维高斯喷点,本研究提出了一种完全明确的方法来由单一单眼序列构建数字化角色,并使用栅格化器合成图像。该方法无需额外注释并且能在消费硬件上高效推断全分辨率图像,实验证明其在数据集上在定量和视觉上均优于现有的技术。
Dec, 2023
我们提出了可驾驶的三维高斯化身模型(D3GA),这是第一个使用高斯分布点渲染的人体三维可控模型。与当前逼真的可驾驶化身需要精确的三维注册训练或者密集输入图像测试(或两者都需要)不同,我们使用最近提出的三维高斯分布点技术(3DGS)以实时帧率渲染逼真的人体,使用密集标定的多视角视频作为输入。与通常使用的线性融合蒙皮点变形方法(LBS)不同,我们使用经典的容积形变方法来变形这些形状,即笼状形变。我们使用关节角度和关键点驱动这些形变,因为它们更适用于通信应用。当使用相同的训练和测试数据时,我们在九个不同的体态、服装和动作的实验对象上获得了比现有最先进方法更高质量的结果。
Nov, 2023