Jun, 2022

具有条件生成占用场的可控三维人脸合成

PDF
TL;DR本文提出了一种基于 NeRF 的条件生成 3D 人脸合成框架，该框架能够通过从 3D 脸部先验中强制显式的 3D 条件生成可控制性高保真面部图像，并且比现有的基于 2D 的可控制性合成方法具有更精确的 3D 可控制性。
face synthesis3d controllabilitygenerative occupancy field3d morphable modelimage generation
发现论文，激发创造
  • 动态人脸渲染的可控辐射场

    在这篇论文中，我们提出了一种可控辐射场，该场可在保证三维感知性的同时，显式地控制非刚性运动产生的面部动态的生成模型合成。

    Oct, 2022

  • 3D-FM GAN: 面部三维可控制变化

    提出了一种新的 3D 可控脸部操作方法：3D-FM GAN，通过将输入脸部图像和 3D 编辑的真实渲染相结合，可以提供高质量、身份保留、3D 可控的脸部操作，相较于现有技术，具有更好的可编辑性、更强的身份保护和更高的照片逼真度。

    Aug, 2022

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023

  • SynthForge: 利用可控 3D 生成模型合成高质量人脸数据集

    建立在真实数据基础上的生成模型能够以可控的方式呈现逼真的数据，但由于缺乏三维一致性注释和生成样本分布受限等问题，使用这些生成模型生成的数据进行下游任务训练仍未得到充分探索。为了解决这些挑战，我们从一个现有的可控生成模型中提取三维一致性注释，使数据在下游任务中发挥作用，实验证明使用仅生成的合成数据可以与最先进的模型竞争，具有解决下游任务的潜力。

    Jun, 2024

  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 基于生成式占位场的三维表面感知图像合成

    本文提出了一种名为 GOF 的新模型，它基于生成亮度场，可以在不妨碍其训练收敛的情况下学习紧凑的物体表面。GOF 的关键在于从亮度场的累积渲染到只以表面点为基础的渲染的特定转换。通过对多个数据集的全面实验，我们证明了 GOF 可以生成具有 3D 一致性的高质量图像，并同时学习到紧凑而光滑的物体表面。

    Nov, 2021

  • 带有条件风格代码扩散的可控三维人脸生成

    通过将任务分为三个组成部分（即 3D GAN Inversion，Conditional Style Code Diffusion，3D Face Decoding），我们提出了一种名为 TEx-Face（文本和表情生成面部）的新方法，以实现高效和可控的生成逼真的 3D 面部模型。

    Dec, 2023

  • 无需制造，伪造生成：用于准确三维面部形状估计的条件人脸生成

    通过在 3DMM 的深度图中采样生成的稳定扩散模型对人脸图像进行生成，利用丰富的 2D 面部信息提供 3D 空间信息，形成 SynthFace，并在此基础上训练的神经网络 ControlFace，在 NoW 基准测试上实现了竞争性能。

    Jul, 2023

  • 无约束人脸识别的可控引导式脸部合成

    提出了一种可控人脸合成模型，通过在样式潜空间中模拟目标数据集的分布，实现在非受限环境下的面部识别（FR）任务，并可指导合成图像的 FR 模型训练，获得了在 IJB-B、IJB-C、TinyFace 和 IJB-S 等非受限测试基准上的显著性能提升（+5.76% Rank1）

    Jul, 2022

  • 基于几何引导文本图像扩散模型的神经辐射场可控三维化身生成

    提出了一种可控的文本到三维头像生成方法 Text2Control3D，利用 ControlNet 生成视角感知图像，并通过交叉注意力注入可控的面部表情和外貌，通过高斯潜变量的低通滤波解决了视角不可知纹理问题，以及通过学习图片形变表构建三维头像。

    Sep, 2023