基于文本指导的合成型 3D 人物生成与编辑
本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。
Jun, 2023
提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。
Sep, 2023
通过融合传统模型的先验信息和新的神经辐射场模型，我们提出了一种新的混合显示 - 隐式 3D 表示方法，用于建模可动画化的 3D 人头头像。我们的方法实现了高分辨率、逼真且视角一致的动态头部外观综合，达到了与以前方法相比的最先进性能。
Sep, 2023
本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023
提出了一种只需要一张源图像就能重建高保真度的三维面部角色建模方法，通过使用 3D GAN 的生成先验和有效的编码器 - 解码器网络来重建源图像的规范神经体积，同时使用补偿网络来补充面部细节，并引入变形场来对面部表情进行精细控制。与多种先进方法相比，实验结果显示合成效果更加优越。
Jul, 2023
实时神经头像合成方法 BakedAvatar 可用于 VR/AR、远程呈现和视频游戏应用中，通过提取多层可变形网格和计算表情、姿势和视角相关的外观，将结果烘培为静态贴图以提高栅格化效率，并通过差分栅格化来优化贴图细节，从而在减少推理时间的同时生成与先进方法相当质量的合成结果。
Nov, 2023
我们介绍了一个新颖的框架用于 3D 人体头像的生成和个性化，利用文本提示来提高用户参与度和定制性。通过克服面向照片真实感头像合成的挑战，我们的方法的核心创新在于应用条件神经辐射场（NeRF）模型，利用大规模多视角未注释数据集，创造出一个多功能的初始解空间，加速和多样化生成头像。此外，我们开发几何先验，利用文本到图像扩散模型的能力，确保视角不变性，并实现对头像几何的直接优化。这些基础思想结合我们基于变分分数蒸馏（VSD）的优化流程，有效减轻纹理损失和过饱和问题。通过广泛的实验验证，这些策略共同实现了具有无与伦比的视觉质量和更好的符合输入文本提示的定制头像的创建。您可以在我们的网站上找到更多的结果和视频。
Apr, 2024
GETAvatar 是一个用于生成可动画的高质量纹理和几何结构的人型化身的生成模型，通过使用显式表面建模的关节式 3D 人体表示和学习自 3D 扫描数据的 2D 法线图以实现细致的表面细节，并通过基于光栅化的渲染器实现高分辨率图像生成。
Oct, 2023
DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架，它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成，并引入了包含规范空间和观察空间的双重空间设计，它们之间由 NeRF 学习的变形场联系，从规范空间将优化的纹理和几何转移到目标位置头像，添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估，证明 DreamAvatar 明显优于现有方法，为文本和形状引导的 3D 人体生成设立了新的技术水准。
Apr, 2023