Oct, 2023

MUNCH: 模拟独特的 N 个可控头部

PDF
TL;DR自动生成 3D 人头一直是计算机视觉研究人员的一个引人入胜且具有挑战性的任务。我们提出了一种方法，它具备质量、多样性、控制和逼真性等令游戏设计艺术家期望的功能，其中包括可解释的网络设计、无缝合成多个高保真度的基于物理的渲染贴图以及对生成贴图进行语义颜色控制的新颖色彩变换模型。
automated generation3d human headscomputer visiondisentangled latent directionsphysically-based render maps
发现论文，激发创造
  • MetaHead：创建逼真数字头像的引擎

    本文提出了 MetaHead，一个全面的可控数字头部生成引擎，以生成视图一致的 3D 可控数字头部，并生成与给定自定义特征标签一致的数字头部。实验证明，我们的可控数字头部发动机实现了最先进的生成视觉质量和重建准确性，并且生成的标记数据可以协助真实训练数据。

    Apr, 2023

  • HeadCraft: 建模用于动态三维面模型的高细节形状变化

    通过神经表征，当前人类头部建模的进展允许生成逼真的 3D 头部模型。然而，构建完整的高保真度头部模型，并在明确控制动画的同时保留细节仍然是一个问题。我们引入了一种生成模型，用于在可显式动画和高细节保存之间创建详细的 3D 头部网格。

    Dec, 2023

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 通用单次神经头像模拟

    该研究提出了一种通过对单视角幅面图像进行重建和动画化的三维头像，通过三个三角面分别捕捉源图像的粗略三维几何，详细外观以及目标图像的表情实现，再通过超分辨率模块的渲染进行填充并通过单向传递网络的高效性进行动画。实验表明，该方法在重建和动画方面优于当前最先进的基线方法，并且对新的验证数据集有很好的泛化能力。

    Jun, 2023

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023

  • CVTHead: 一次性可控头像网络与顶点特征注意力机制

    CVTHead 使用点集神经渲染从单个参考图像生成可控神经头部化身，实现了实时动画中多变和逼真的渲染。

    Nov, 2023

  • 使用文本到图像扩散模型生成带有关节的 3D 头像

    本文提出了一种新的基于 3D 可塑模型（3DMM）的文本引导头部生成方法，利用扩散模型生成多视图一致性辐射场的同时更新几何和纹理以生成和文本描述一致的 3D 头部化身，以此在一定程度上提高 3D 头部生成的精度和多样性。

    Jul, 2023

  • SMPLpix：基于 3D 人体模型的神经化身

    本研究提出了一种新的深度学习网络，用于将 3D 模型转换为逼真的照片，旨在弥合现有深度生成模型不能灵活控制的瓶颈问题，同时也改善了传统三维图形处理渲染机制的不足之处。

    Aug, 2020

  • HeadSculpt: 使用文本创造 3D 头像

    本研究提出了名为 HeadSculpt 的通用粗到细流程，用于从文本提示中生成和编辑三维头像，实现了更高的保真度和编辑能力。

    Jun, 2023