Mar, 2024

HeadEvolver: 基于局部可学习网格变形的文本到头像生成

TL;DRHeadEvolver 是一个用于生成基于文本引导的风格化头像的新框架,通过使用本地可学习的网格变形从模板头部网格生成高质量的数字资产,以实现保留细节的编辑和动画效果。通过引入可训练参数作为每个三角形上的 Jacobian 权重因子,我们解决了全局变形中缺乏精细和语义感知的局部形状控制的挑战,从而在保持全局对应关系和面部特征的同时自适应地改变局部形状。此外,为了确保来自不同视角的形状和外观的一致性,我们使用预训练的图像扩散模型进行可微渲染,并使用正则化项来改进文本引导下的变形。大量实验证明我们的方法能够生成具有可编辑的关节网格的多样化头像,从而在三维图形软件中实现无缝编辑,便于继承融合形状和语义一致性的更高效动画等下游应用。