AvatarVerse: 高质量 & 稳定的 3D 角色创建系统
通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像,首先使用低分辨率的基于 NeRF 的表示进行初步生成,然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染,在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性,利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果,优于之前的方法,并且适用于多模态头像动画和风格引导头像创作等多个应用。
Nov, 2023
本文提出了一个零射击的管道,该管道可以通过捕捉用户的身份以令人愉悦的方式进行头像生成,具有个性化的图像生成特征,此外,作者使用大规模图像数据集学习人类 3D 姿态参数,克服了动作捕捉数据集的局限性。
Apr, 2023
提出了一种使用自然语言驱动的零样本文本框架 --AvatarCLIP,用于三维头像的生成和动画制作,并利用 CLIP 来监督神经人类的生成,实现了超强的零样本能力。
May, 2022
AvatarBooth 是一种新方法,通过使用文本提示或特定图像生成高质量的 3D 头像,可以从捕捉的面部或身体图像中创建个性化头像,其利用双精度扩散模型控制头部和身体生成,增强了合成头部图像的多视图一致性,实现了高度逼真的头像生成,具有出色的渲染和几何质量。
Jun, 2023
使用大规模文本到图像生成模型,我们提出了 SEEAvatar,一种通过自进化约束生成具有真实感的 3D 头像的方法。通过对几何形状进行全局和局部部分的约束,并使用扩散模型和物理渲染管线生成逼真的纹理,我们的方法在全局和局部几何形状和外观质量上都优于以前的方法。
Dec, 2023
DreamAvatar 是一个生成高质量、可控制姿态的 3D 人类头像的框架,它使用了可训练的 NeRF 生成 3D 点密度和颜色特征以及预先训练的文本到图像扩散模型提供 2D 自监督。通过 SMPL 模型提供粗略的姿势和形状指导生成,并引入了包含规范空间和观察空间的双重空间设计,它们之间由 NeRF 学习的变形场联系,从规范空间将优化的纹理和几何转移到目标位置头像,添加正常一致性正则化以获得更生动的几何和纹理。经过广泛的评估,证明 DreamAvatar 明显优于现有方法,为文本和形状引导的 3D 人体生成设立了新的技术水准。
Apr, 2023
提出了 FaceVerse,这是一个精细的 3D 神经人脸模型,利用混合的东亚人脸数据集建立,通过基于大规模 RGB-D 图像生成基本参数模型,再利用高保真的 3D 头部扫描模型选用 StyleGAN 结构进行精细调整,同时结合基本属性和面部细节进行创新性的调节,实现了单张图像拟合,相比其他最先进的方法表现更好。
Mar, 2022
基于用户特定概念和提示创建自定义图像的个性化文本到图像生成技术已崭露头角,但现有方法在个性化方面面临多个挑战。为了解决这些障碍,我们提出了一种创新的方法 - PhotoVerse,在文本和图像领域中融入双分支条件机制,以提供对图像生成过程的有效控制,并引入了面部身份损失作为训练期间增强身份保存的新组件。这一方法消除了测试时间调整的需要,仅依赖于目标身份的单张面部照片,大大减少了与图像生成相关的资源成本。经过单一训练阶段后,我们的方法能够在几秒钟内生成高质量的图像,产生包含各种场景和风格的多样化图像。广泛的评估表明我们的方法具有卓越性能,实现了保存身份和增强可编辑性的双重目标。
Sep, 2023
本文提出了一种新的方法,结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络,用于生成高质量,风格化的 3D 头像,并在视觉质量和多样性方面优于现有最先进的方法。
May, 2023
本文提出了一种新的基于 3D 可塑模型(3DMM)的文本引导头部生成方法,利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身,以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023