CVPRApr, 2023

学习可局部编辑虚拟人

PDF
TL;DR本文提出一种新的混合表征和端到端可训练的网络体系结构，以建模完全可编辑和可定制的神经化身，并设计实现一种特征码本以存储可变形体模型的本地几何和纹理特征。该模型具有 3D 一致性，并利用神经场的模建模力量。此外，该方法还可在三维资产之间交换本地特征以实现局部编辑。通过贡献一个新的高质量数据集，该方法生成了多样化的详细化身，并比现有方法获得更好的模型拟合性能。
neural avatars3d modellingtrainable networkauto-decodertexture features
发现论文，激发创造
  • NECA：神经可定制人形化身

    NECA 是一种能够从单目或稀疏视点视频中学习多用途的人体表示的方法，能够通过体积渲染从几何、色素、阴影和外部光照等分离的神经场预测来获得具有高频细节的逼真渲染，并在光照方面具有超越最先进方法的优势。

    Mar, 2024

  • HR 人形：利用三角网格和视频高分辨率纹理建模人形化身

    通过单目视频实现高分辨率物理材质纹理和三角网格的人体模型的获取并结合多视角图像合成的信息融合策略，通过神经隐式表达生成可编辑的变形人体模型。

    May, 2024

  • 单目 RGB 视频生成神经头像

    我们提出了神经头像，该方法能够显式建模动画人物头像的表面几何形状和外观，是虚拟现实和其他电影或游戏应用中数字人物的一种有效表示方法，它能够从单目 RGB 人像视频中学习，能够精确地外推到未知姿态和观察角度，并产生自然的表情和清晰的纹理细节。

    Dec, 2021

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • HeadEvolver: 基于局部可学习网格变形的文本到头像生成

    HeadEvolver 是一个用于生成基于文本引导的风格化头像的新框架，通过使用本地可学习的网格变形从模板头部网格生成高质量的数字资产，以实现保留细节的编辑和动画效果。通过引入可训练参数作为每个三角形上的 Jacobian 权重因子，我们解决了全局变形中缺乏精细和语义感知的局部形状控制的挑战，从而在保持全局对应关系和面部特征的同时自适应地改变局部形状。此外，为了确保来自不同视角的形状和外观的一致性，我们使用预训练的图像扩散模型进行可微渲染，并使用正则化项来改进文本引导下的变形。大量实验证明我们的方法能够生成具有可编辑的关节网格的多样化头像，从而在三维图形软件中实现无缝编辑，便于继承融合形状和语义一致性的更高效动画等下游应用。

    Mar, 2024

  • AvatarGen：可动漫人类角色的三维生成模型

    本文提出 AvatarGen 方法，是第一种通过仅使用 2D 图像训练，能够生成高保真度外观和可控几何形状的、解耦式的可控人体动画的方法。

    Nov, 2022

  • SMPLpix：基于 3D 人体模型的神经化身

    本研究提出了一种新的深度学习网络，用于将 3D 模型转换为逼真的照片，旨在弥合现有深度生成模型不能灵活控制的瓶颈问题，同时也改善了传统三维图形处理渲染机制的不足之处。

    Aug, 2020

  • StylePeople: 全身人型头像生成模型

    本文提出了一种基于参数化网格人体模型和神经纹理的新型全身人体化身，证明了神经纹理能够成功地建模衣服和头发，并展示了如何使用反向传播从视频的多个框架创建这些化身，进一步提出了一种适用于人体化身的生成模型，能够从人们的图像和视频数据集中进行训练，可以随机生成人体化身以及从一到几张图片中创建穿着着装的人体化身。

    Apr, 2021

  • 语义保留的基于点的人类角色模拟

    为了实现真实的 AR/VR 和数字娱乐体验，我们提出了第一个点云人物模型，它涵盖了数字人物的全部表达范围。我们使用两个多层感知器来建模姿势相关的变形和线性蒙皮权重。外观的表示依赖于解码器和附加到每个点的特征。与替代的隐式方法相比，朝向点的表示不仅提供了更直观的方式来建模人物动画，还显著减少了训练和推理时间。此外，我们提出了一种新的方法将语义信息从 SMPL-X 模型转移到点云中，从而更好地理解人体运动。通过利用点的语义信息，我们可以通过在不同主体之间交换相同类别的点来促进虚拟试穿和人物组合。实验结果证明了我们提出方法的效果。

    Nov, 2023

  • AvatarStudio：基于文本的 3D 动态人头像编辑

    本文提出了 AvatarStudio—— 一种基于文本的方法，用于编辑动态全头人物角色的外观。该方法与现有的神经辐射场 (NeRF) 捕捉动态表现的工作相结合，并用文本 - 图像扩散模型对其进行编辑。经过我们视觉和数字方面的用户体验后，发现我们的方法优于现有的方法。

    Jun, 2023