Jun, 2024

SynthForge: 利用可控 3D 生成模型合成高质量人脸数据集

PDF
TL;DR建立在真实数据基础上的生成模型能够以可控的方式呈现逼真的数据，但由于缺乏三维一致性注释和生成样本分布受限等问题，使用这些生成模型生成的数据进行下游任务训练仍未得到充分探索。为了解决这些挑战，我们从一个现有的可控生成模型中提取三维一致性注释，使数据在下游任务中发挥作用，实验证明使用仅生成的合成数据可以与最先进的模型竞争，具有解决下游任务的潜力。
generative modelsphoto-realistic datacontrollable fashion3d consistent annotationsdownstream tasks
发现论文，激发创造
  • 面向无监督学习的生成模型，用于三维可控图像合成

    该研究探索了使用生成对抗网络在三维空间中进行图像合成的可能性，并提出了一种无监督的方法，可从原始图像中解开简单场景的隐含三维因素。与纯二维基线相比，该方法允许合成与视角或物体姿势变化一致的场景，可用于实现 3D 可控图像合成，生成具有可解释性的表示形式。

    Dec, 2019

  • 使用合成数据训练深度人脸识别系统

    本研究使用 3D 可变形面部模型，通过合成数据生成具有不同面部身份和完全控制的姿态、光照和背景的图像，观察到利用合成数据可以显著降低对真实世界图像需求，在预训练后，通过微调真实图像，合成数据与真实数据相结合的模型可获得更高的性能，而且并没有负面影响。

    Feb, 2018

  • 使用生成模型的合成数据在野外进行的 3D 人体重建

    通过基于扩散模型的 HumanWild 方法，我们展示了由生成模型创建的合成数据与计算机图形渲染数据互补，从而在 3D 人体姿态和形状估计方面在多样化的真实场景中实现了卓越的泛化性能。

    Mar, 2024

  • 朝现实的生成三维人脸模型

    本文提出使用 2D 生成模型加上面部特征操作来创造 3D 可控制生成人脸模型的方法，可进行文本编辑、样式编辑和生成精确的 3D 形状和更高质量的色彩。

    Apr, 2023

  • 具有条件生成占用场的可控三维人脸合成

    本文提出了一种基于 NeRF 的条件生成 3D 人脸合成框架，该框架能够通过从 3D 脸部先验中强制显式的 3D 条件生成可控制性高保真面部图像，并且比现有的基于 2D 的可控制性合成方法具有更精确的 3D 可控制性。

    Jun, 2022

  • 深度学习下可控图像合成的调查

    通过深度学习技术与生成模型的应用，研究了 3D 可控图像合成问题，包括视角 / 姿势可控图像合成、结构 / 形状可控图像合成以及 3D 重新照明等方面。

    Jul, 2023

  • 通过生成对抗网络实现高质量面部表面和纹理合成

    提出了一种基于 3D 可变形模型和生成对抗网络的面部综合模型，使用普适化方法将几何数据映射到二维平面，实现了对数字扫描的几何数据高效处理，在人类纹理参数空间中生成逼真的面部纹理和它们的对应几何图形，从而获得了新的高分辨率 3D 面孔。

    Aug, 2018

  • 自然语言描述生成高保真 3D 人脸

    本研究提出了一种基于自然语言描述生成高质量三维人脸模型的方法，通过建立 Describe3D 数据集以及使用两阶段框架来解决描述语言空间与形状 / 外观空间映射关系的问题，并且实验结果表明，该方法可以以比以往更高的精度和质量生成符合输入描述的三维人脸。

    May, 2023

  • 3D 感知图像合成综述

    介绍了近年来深度学习实现的视觉内容创作方法的显著进展，包括 3D 感知生成图像合成，旨在提供一个关于 3D 感知图像合成的综述，为相关领域的研究工作提供有用的参考，并通过我们的讨论部分激发未来的研究方向。

    Oct, 2022

  • 使用合成脸部数据进行人脸识别

    本研究利用合成数据和微调模型，在人脸识别领域取得了高精确度的成果，并研究表明模型的性能还受到脸部不同部位的影响。

    May, 2023