动画艺术化头像:由单张图像生成可动画的三维艺术化头像
基于非结构化的 2D 图像集合,我们提出了一种可调节面部表情、头部姿势和肩膀运动的三维感知生成对抗网络,该网络能够生成多样且高质量的三维头像。
Sep, 2023
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
本文提出了一种从单幅肖像图像生成动画化的 3D 卡通脸部的新框架,并针对传统模型建立漫画形象耗时且难以保持相似性的问题,提出了基于模板和形变转移的语义保留脸部绑定方法及实时动画演示。
Jul, 2023
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
通过 AvatarStudio 生成高质量的、可动画的 3D 人物头像,首先使用低分辨率的基于 NeRF 的表示进行初步生成,然后结合 SMPL 引导关节活动增加明确的网格表示并支持头像动画和高分辨率渲染,在结果头像中引入基于 DensePose 的 2D 扩散模型以确保视角一致性和姿态可控性,利用 AvatarStudio 可以从文本中生成高质量的头像并具备动态效果,优于之前的方法,并且适用于多模态头像动画和风格引导头像创作等多个应用。
Nov, 2023
使用可变形基于点的表示方法 PointAvatar,将颜色和法向量相关联,可以基于单目视频生成高质量的可动画 3D 头像,并在渲染效率和拓扑灵活性方面加强。
Dec, 2022
本文提出了一种新的基于 3D 可塑模型(3DMM)的文本引导头部生成方法,利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身,以此在一定程度上提高 3D 头部生成的精度和多样性。
Jul, 2023
本研究提出了一种基于广义控制的三平面渲染方案构建面部头像的方法 ——OTAvatar,通过利用运动代码和个体身份编码以及体积渲染生成的体积,实现了通用面部头像的可控渲染,并在 A100 达到了 35FPS 的效率。
Mar, 2023
本研究工作旨在通过将 3D 可变模型整合到最新的多视角一致性扩散方法中,增强生成扩散模型在创建可控、照片般逼真的人类头像任务中的质量和功能。我们的实验证明了在基于关节的 3D 模型的准确约束下,生成流水线模型在单图像的新视角合成任务上的性能改进,更重要的是,这种整合实现了面部表情和身体姿势控制在生成过程中的无缝和准确融入。据我们所知,我们提出的框架是第一个允许从未见过的单一图像创建完全 3D 一致、可动画和照片般逼真的人类头像的扩散模型;广泛的定量和定性评估证明了我们的方法在新视角和新表情合成任务上相对于现有最先进的头像创建模型的优势。
Jan, 2024
本研究提出一种可动画的 3D 感知生成对抗网络用于多视角一致的人脸动画生成,通过将 3D 感知生成对抗网络的 3D 表示分解为模板场和形变场,并提出 3D 级模仿学习方案,帮助我们实现高质量的动画面部图像生成并具有较强的可视化 3D 一致性。
Oct, 2022