Feb, 2024

AvatarMMC: 三维头像生成和编辑，多模态条件下

PDF
TL;DR我们介绍了一种基于 3D 生成对抗网络（GAN）和潜在扩散模型（LDM）的多模态条件的 3D 头像生成和编辑方法。我们的方法可以根据混合控制信号（例如 RGB 输入，分割掩模和全局属性）生成和编辑 3D 头像，从而在全局和局部方面提供对合成头像的更好控制。
发现论文，激发创造
  • 多模态条件下的三维感知图像生成和编辑

    本文提出了一种新颖的端到端 3D 感知图像生成和编辑模型，通过纯噪声、文本和参考图像等多种条件输入，在 3D 生成对抗网络（GANs）的潜在空间中深入研究并提出解缠特性较好的生成策略，同时采用统一框架进行灵活的图像生成和编辑任务，实现多模态条件下的多样图像生成、属性编辑和风格迁移。广泛实验证明，该方法在图像生成和编辑方面在质量和数量上均优于替代方法。

    Mar, 2024

  • 带有条件 GAN 的面罩引导肖像编辑

    本文提出了一种通过使用面部覆盖蒙版的条件生成式对抗网络生成更具多样性、质量、可控性的逼真面部，该方法可用于本地面部编辑、面部合成和交换，同时提供了数据增强的选项以加强面部分析的性能。

    May, 2019

  • GAN-Avatar: 可控个性化基于 GAN 的人头图像生成器

    我们提出了一种从图像中学习具有人物特定的可动画化角色模型的方法，旨在解决面部表情追踪失败的问题，并实现高保真度的图像合成。

    Nov, 2023

  • 文本和图像帮助下的 3D 头像创造与操作

    该论文介绍了一种基于文本或图像的提示（如 “年轻的脸” 或 “惊讶的脸”）来操纵三维生成模型中形态和纹理的方法，利用了对比语言图像预训练模型（CLIP）和预训练的生成人脸的三维 GAN 模型创建了一个完全可微的渲染管道来操作网格。

    Feb, 2022

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • 多模态条件下的三维人脸几何生成

    我们提出了一种新的方法，用于多模态条件下的三维人脸几何生成，可以通过多种不同的条件信号实现对输出身份和表情的用户友好控制。该方法基于扩散过程，在一个二维参数化的 UV 领域中生成三维几何形状，并通过交叉注意层 (IP-Adapter) 将每个调节信号传递给几何生成模型，提供细粒度的用户控制，产生具有高分辨率几何的易于使用的三维人脸生成工具。

    Jul, 2024

  • 时尚图像编辑的多模态条件化潜扩散模型

    该论文探讨了多模态条件下的时尚图像编辑任务，提出了一种基于多模态指导的生成方法，利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。

    Mar, 2024

  • AG3D: 从 2D 图像集合中学习生成 3D 头像

    本文提出了一种从 2D 图像生成逼真的 3D 人物的新方法，并使用多个辨别器和 2D 法线图形式的几何线索来训练模型，取得了在几何和外观方面超过以前 3D 和关节感知方法的性能，通过系统的消融研究验证了模型的有效性和每个组件的重要性。

    May, 2023

  • One2Avatar: 少样本用户自适应的生成式隐式头像

    使用少量图像创建高质量的个性化头像，通过学习生成模型和 3DMM 锚定的神经辐射场骨干构建先验，实现基于少量输入图像的自动解码，优化 3DMM 拟合和相机校准以改进少样本自适应，开创了创建更高效个性化头像的道路，超越现有最先进的方法。

    Feb, 2024

  • 基于扩散驱动的 GAN 反向传递用于多模态人脸图像生成

    我们提出了一种新的多模态人脸图像生成方法，通过将文本提示和视觉输入转化为逼真的人脸图像，结合了生成对抗网络和扩散模型的优势，并通过简单映射和风格调节网络将两个模型结合起来，将特征图和注意力图中的有意义的表示转化为潜空间编码。使用预训练的生成对抗网络的翻转，可以生成 2D 或 3D 感知的面部图像。我们进一步提出了一种多步骤训练策略，将文本和结构表示反映到生成的图像中。我们的方法生成逼真的 2D、多视图和风格化的人脸图像，并与输入对齐。我们使用预训练的 2D 和 3D 生成对抗网络验证了我们的方法，结果优于现有方法。

    May, 2024