TADA!文本到可动画数字化人物
通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像,首先使用低分辨率的基于 NeRF 的表示进行初步生成,然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染,在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性,利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果,优于之前的方法,并且适用于多模态头像动画和风格引导头像创作等多个应用。
Nov, 2023
本文提出 Adaptive Text-to-Talking Avatar(Ada-TTA),该方法在语音识别的背景下,设计了通用的零样本多扬声器 TTS 模型,并采用神经渲染技术来实现逼真的音频驱动的说话面部视频生成,实现了身份保护言语和逼真的说话人视频。
Jun, 2023
DreamHuman 是一种从文本描述自动生成逼真可动的三维人物头像模型的方法,该方法将大规模的文本到图像合成模型、神经辐射场和统计人体模型连接在一起,以新颖的建模和优化框架产生动态三维人物头像,具有高质量的纹理、实例特定的表面变形和多样化的外观、衣着、肤色和身体形态。
Jun, 2023
本文提出了一种新的基于 3D 可塑模型(3DMM)的文本引导头部生成方法,利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身,以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023
通过结合文字和图像信息,利用扩散模型,我们开发了一种零样本的三维生成模型,能够合成高分辨率纹理网格,实现了将二维图像直接转化为三维空间的功能。
Aug, 2023
使用 Text2Avatar 生成的 3D 真实风格人物化身,可通过耦合的文本数据生成逼真的 3D 角色模型,从而帮助减少人物建模的成本和时间。
Jan, 2024
GETAvatar 是一个用于生成可动画的高质量纹理和几何结构的人型化身的生成模型,通过使用显式表面建模的关节式 3D 人体表示和学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节,并通过基于光栅化的渲染器实现高分辨率图像生成。
Oct, 2023
通过骨架感知文本为基础的 4D 人物生成与网络内运动重定向的方法可以综合优化几何、纹理和动作,从而合成与文本描述相符的高质量 4D 人物,并展示了每个组成部分的贡献。
Jun, 2024
通过将生成式文本转图像模型和图像到 3D 方法相结合,如神经辐射场,文本到 3D 建模已经取得了令人兴奋的进展,但目前需要逐个优化来创建 3D 对象。我们提出了一种新的框架 - 摊销文本到 3D(ATT3D)- 通过以统一模型同时训练多个提示来摊销优化,从而在更短的时间内共享提示集的计算,实现了跨提示的知识共享,可以概括未见过的设置,并使文本之间的插值更加平滑,从而实现了新资产和简单动画的 3D 建模。
Jun, 2023
本文提出了一种新颖的文本到头像生成方法,分别生成人体和服装,并允许对生成的头像进行高质量的动画。与最近的文本到头像生成方法不同的是,我们的方法将人体、发型和服装分别表示,以克服联合表示方法对编辑或动画等下游任务的挑战。通过提出的 Sequentially Offset-SMPL (SO-SMPL) 模型,我们成功地实现了人体和服装的物理对齐。然后,我们设计了一种基于 Score Distillation Sampling (SDS) 的蒸馏框架,从文本提示生成所提出的 SO-SMPL 表示。与现有的文本到头像方法相比,我们的方法不仅在纹理和几何质量以及与文本提示的语义对齐上取得了更高的性能,还显著提高了角色动画、虚拟试穿和头像编辑的可视质量。
Dec, 2023