HeadStudio: 将文本转换为可动画的头像,使用 3D 高斯点阵
通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像,首先使用低分辨率的基于 NeRF 的表示进行初步生成,然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染,在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性,利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果,优于之前的方法,并且适用于多模态头像动画和风格引导头像创作等多个应用。
Nov, 2023
使用高斯飞溅生成逼真的可动化虚拟角色,并通过基于文本描述的图像生成方法,解决了网格或 NeRF 表示所带来的灵活性和效率方面的限制,具有出色的外观和几何质量,并具有极快的渲染速度(100 FPS)以及 1K 分辨率。
Dec, 2023
提出了使用三维高斯斑点(3DGS)进行三维头部重建和动画的 HeadGaS 模型,其利用可学习的潜在特征扩展了 3DGS 的显式表示,并与参数化头部模型的低维参数线性融合,实现表情相关最终颜色和不透明度值。实验证明,HeadGaS 在实时推理帧率方面取得了最先进的结果,超过基线约 2dB,并将渲染速度加速至 10 倍以上。
Dec, 2023
使用 3D 高斯喷洒(3DGS),我们介绍了一种从单目视频中创建可以动画化的人体化身的方法。通过学习非刚性变形网络和引入不同性的正则化,我们的方法在训练和推理速度上比现有的技术分别快 400 倍和 250 倍,并实现了与最先进方法相媲美甚至更好的性能。
Dec, 2023
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
Nov, 2023
基于文本提示生成真实的 3D 人体是一项令人向往但具有挑战性的任务。本文提出了一种高效而有效的框架 HumanGaussian,通过结构感知的 SDS 和退火负向提示引导,以及适应性高斯喷洒渲染器,在细节和训练时间方面取得了优越的性能。
Nov, 2023
本文提出了 AvatarStudio—— 一种基于文本的方法,用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合,并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后,发现我们的方法优于现有的方法。
Jun, 2023
从单目输入视频中生成可动画的人体化身的 HAHA - 一种新方法。该方法通过学习高斯喷洒和纹理网格在高效和高保真度渲染之间的权衡,表现出其效率来控制 SMPL-X 参数模型。我们的模型仅在 SMPL-X 网格中需要的区域(如头发和网格之外的衣物)应用高斯喷洒。这样可以使用最少的高斯函数来表示完整的化身并减少渲染伪影。这使我们能够处理传统上忽略的手指等小身体部分的动画。我们在两个开放数据集 SnapshotPeople 和 X-Humans 上展示了我们方法的有效性。在 SnapshotPeople 上,我们的方法的重建质量与最先进方法相当,而使用的高斯函数不到三分之一。HAHA 在 X-Humans 的新姿势上在定量和定性方面优于之前最先进的方法。
Apr, 2024
通过使用基于三维高斯曲面的动态三维表示以及参数可变的脸部模型,我们介绍了一种新的方法 ——GaussianAvatars,用于创建在表情、姿势和视角方面可完全控制的逼真头像。
Dec, 2023