基于网格的逼真单次头像生成
利用神经渲染基础系统从单张照片创建头像,将外貌分解为两个图层,第一层是由小型神经网络合成的姿态相关的粗略图像,第二层由姿态无关的纹理图像定义,通过在线形变和添加到粗略图像上,以确保高分辨率综合头部视图的有效性和速度。实验显示了和先前神经头像模型相比具有显著的推理加速和视觉质量,同时还在智能手机上实现了实时功能。
Aug, 2020
该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像,通过三个三角面分别捕捉源图像的粗略三维几何,详细外观以及目标图像的表情实现,再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明,该方法在重建和动画方面优于当前最先进的基线方法,并且对新的验证数据集有很好的泛化能力。
Jun, 2023
我们提出了一种从只有一个肖像作为参考的照片逼真数字化头像的合成方法。该方法使用驱动关键点特征合成粗糙的说话头视频。使用粗糙视频,该方法使用变形神经辐射场合成粗糙的说话头头像。通过渲染粗糙头像的图像,该方法使用盲目人脸修复模型更新低质量图像。通过更新后的图像,我们重新训练以获得更高质量的头像。经过几轮迭代,我们的方法可以合成逼真的可动画的 3D 神经头像。我们的方法通过在各种主题上进行定量和定性研究超越了最先进的方法。
Jul, 2023
我们提出了神经头像,该方法能够显式建模动画人物头像的表面几何形状和外观,是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法,它能够从单目 RGB 人像视频中学习,能够精确地外推到未知姿态和观察角度,并产生自然的表情和清晰的纹理细节。
Dec, 2021
使用少量图像创建高质量的个性化头像,通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验,实现基于少量输入图像的自动解码,优化 3DMM 拟合和相机校准以改进少样本自适应,开创了创建更高效个性化头像的道路,超越现有最先进的方法。
Feb, 2024
本文提出了 RenderMe-360 数据集,这是一个包含了头像高度完整 4D 数据的大规模数字库。数据集包含了 243 + 万个完整的头框架和来自 500 个不同身份的超过 800k 个视频序列,是一个高保真度和高多样性的数据库,提供了丰富的属性和几何风格。该数据集还提供不同粒度的注释,并在头像研究的五项主要任务上进行了全面的基准测试。本文的实验揭示了当前方法的优缺点,表明 RenderMe-360 将开启未来头像研究领域的探索之门。
May, 2023
AvatarReX 是一种新的方法,通过学习基于 NeRF 的全身化身构建,提供可表达身体、手和脸部的控制,同时支持实时动画和渲染;采用合成的化身表示方式,将身体、手和脸部分别建模,并解耦几何和外观,进而实现了针对 DSLR 图像的渲染流程,从而合成高质量的自由视角图像。
May, 2023
我们介绍了一个新颖的框架用于 3D 人体头像的生成和个性化,利用文本提示来提高用户参与度和定制性。通过克服面向照片真实感头像合成的挑战,我们的方法的核心创新在于应用条件神经辐射场(NeRF)模型,利用大规模多视角未注释数据集,创造出一个多功能的初始解空间,加速和多样化生成头像。此外,我们开发几何先验,利用文本到图像扩散模型的能力,确保视角不变性,并实现对头像几何的直接优化。这些基础思想结合我们基于变分分数蒸馏(VSD)的优化流程,有效减轻纹理损失和过饱和问题。通过广泛的实验验证,这些策略共同实现了具有无与伦比的视觉质量和更好的符合输入文本提示的定制头像的创建。您可以在我们的网站上找到更多的结果和视频。
Apr, 2024
本文提出了一种新的神经头像技术,可以以百万像素分辨率完成跨驱动综合任务,其基于新的神经结构和训练方法,可以同时利用中等分辨率视频数据和高分辨率图像数据来生成高质量的头像。通过实验证明,该技术在跨驱动方案中性能更好,并可在实时操作中锁定神经头像的身份,适用于实际应用场景。
Jul, 2022
通过组合三维头部重建、神经场和表面渲染技术,本研究提出了一种新的方法(InstantAvatar),可以在几秒钟内从少量图像(甚至只有一张)中恢复出完整的头部化身,并实现了 100 倍的重建速度提升。
Aug, 2023