Apr, 2023

MetaHead：创建逼真数字头像的引擎

PDF
TL;DR本文提出了 MetaHead，一个全面的可控数字头部生成引擎，以生成视图一致的 3D 可控数字头部，并生成与给定自定义特征标签一致的数字头部。实验证明，我们的可控数字头部发动机实现了最先进的生成视觉质量和重建准确性，并且生成的标记数据可以协助真实训练数据。
发现论文，激发创造
  • MUNCH: 模拟独特的 N 个可控头部

    自动生成 3D 人头一直是计算机视觉研究人员的一个引人入胜且具有挑战性的任务。我们提出了一种方法，它具备质量、多样性、控制和逼真性等令游戏设计艺术家期望的功能，其中包括可解释的网络设计、无缝合成多个高保真度的基于物理的渲染贴图以及对生成贴图进行语义颜色控制的新颖色彩变换模型。

    Oct, 2023

  • 高保真自由可控的说话头部视频生成

    本文提出了一种新模型，通过利用自监督学习技术和三维人脸模型中的标志点来对运动进行建模，并引入了新的运动感知多尺度特征对齐模块来进行视频合成，从而实现了对头部姿态和表情的自由控制，并且得到了最优质的合成音频视频输出。

    Apr, 2023

  • HeadGAN：一次性神经头部合成和编辑

    本文提出了一种基于 3D 面部表示的 HeadGAN 新系统，可以从任何驱动视频中提取，并适应于任何参考图像的面部几何形状，从而解决头部再现问题。通过利用音频特征作为补充输入，进一步改善嘴部运动，并将身份与表情分离，使其具有压缩和重建、表情和姿势编辑的功能。

    Dec, 2020

  • HeadCraft: 建模用于动态三维面模型的高细节形状变化

    通过神经表征，当前人类头部建模的进展允许生成逼真的 3D 头部模型。然而，构建完整的高保真度头部模型，并在明确控制动画的同时保留细节仍然是一个问题。我们引入了一种生成模型，用于在可显式动画和高细节保存之间创建详细的 3D 头部网格。

    Dec, 2023

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • MetaPortrait：具备快速个性化调整能力的保持身份的说话人头像生成

    本文提出了一个基于 ID 保持的讲话头生成框架，改进了以往的方法，使用密集地标点实现精确的几何感知流场与自适应融合源身份，使用元学习方法实现快速个性化模型的快速适应，并且增加时空增强模块以提高细节和时序性，实验表明本文的方法在单次和个性化设置中均显著优于现有技术。

    Dec, 2022

  • GANHead：面向生成动画化神经头像模型的研究

    提出 GANHead 模型，利用精细控制和真实感渲染相结合的优点，通过三个网络在规范空间中表示粗略几何、细节和纹理，来生成完整、真实、可动的头部数字化 avatar，并通过 LBS 权重和 FLAME 参数的学习，来实现灵活地动画生成。该模型有效提升了头部数字化 avatar 生成和原始扫描拟合的性能。

    Apr, 2023

  • CVTHead: 一次性可控头像网络与顶点特征注意力机制

    CVTHead 使用点集神经渲染从单个参考图像生成可控神经头部化身，实现了实时动画中多变和逼真的渲染。

    Nov, 2023

  • HeadSculpt: 使用文本创造 3D 头像

    本研究提出了名为 HeadSculpt 的通用粗到细流程，用于从文本提示中生成和编辑三维头像，实现了更高的保真度和编辑能力。

    Jun, 2023

  • Head2Head: 视频基于神经元头部综合

    本文提出了一种新的面部再现的机器学习架构，该方法利用卷积神经网络进行特征提取及实现面部运动，注重嘴部及时间一致性，实现了将源角色的面部表情、姿势和视线传输到目标视频中，比现有技术更精确地展现了真实人像。

    May, 2020