CVTHead: 一次性可控头像网络与顶点特征注意力机制
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
本研究提出了一种基于广义控制的三平面渲染方案构建面部头像的方法 ——OTAvatar,通过利用运动代码和个体身份编码以及体积渲染生成的体积,实现了通用面部头像的可控渲染,并在 A100 达到了 35FPS 的效率。
Mar, 2023
使用可变形基于点的表示方法 PointAvatar,将颜色和法向量相关联,可以基于单目视频生成高质量的可动画 3D 头像,并在渲染效率和拓扑灵活性方面加强。
Dec, 2022
我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法,旨在解决面部表情追踪失败的问题,并实现高保真度的图像合成。
Nov, 2023
HeadEvolver 是一个用于生成基于文本引导的风格化头像的新框架,通过使用本地可学习的网格变形从模板头部网格生成高质量的数字资产,以实现保留细节的编辑和动画效果。通过引入可训练参数作为每个三角形上的 Jacobian 权重因子,我们解决了全局变形中缺乏精细和语义感知的局部形状控制的挑战,从而在保持全局对应关系和面部特征的同时自适应地改变局部形状。此外,为了确保来自不同视角的形状和外观的一致性,我们使用预训练的图像扩散模型进行可微渲染,并使用正则化项来改进文本引导下的变形。大量实验证明我们的方法能够生成具有可编辑的关节网格的多样化头像,从而在三维图形软件中实现无缝编辑,便于继承融合形状和语义一致性的更高效动画等下游应用。
Mar, 2024
本文提出了 AvatarStudio—— 一种基于文本的方法,用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合,并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后,发现我们的方法优于现有的方法。
Jun, 2023
自动生成 3D 人头一直是计算机视觉研究人员的一个引人入胜且具有挑战性的任务。我们提出了一种方法,它具备质量、多样性、控制和逼真性等令游戏设计艺术家期望的功能,其中包括可解释的网络设计、无缝合成多个高保真度的基于物理的渲染贴图以及对生成贴图进行语义颜色控制的新颖色彩变换模型。
Oct, 2023
提出了一种新颖的快速 3D 神经隐式头像模型,实现实时渲染并保持细粒度的可控性和高渲染质量。本方法引入局部哈希表混合形状,通过线性合并和卷积神经网络预测的权重,将其附加到底层面部参数模型的顶点上,从而实现表情相关的嵌入。通过轻量级多层感知机实现高效的密度和颜色预测,并通过分层最近邻搜索方法加速。大量实验证明,本方法在实时运行的同时实现了与最新技术相比可比的渲染质量,并对具有挑战性的表情获得了不错的结果。
Apr, 2024