Jan, 2023

使用有条件训练的输入生成对抗网络从文本特征生成人脸

PDF
TL;DR本文介绍了一种利用生成式对抗网络和自然语言处理模型生成人脸的新方法，将面部描述转换为可学习的潜在向量，从而生成与这些特征相对应的面部。
generative networksimage restorationface generationnatural language processinglatent vectors
发现论文，激发创造
  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • 用户指定内容的条件图像生成与操作

    提出了一种单一的文本到图像生成和操纵的流程，其中在我们的流程的第一部分，介绍了 TextStyleGAN 这个在文本上进行训练的模型；第二部分使用预训练的 TextStyleGAN 权重进行语义面部图像操纵，并通过在潜空间中找到语义方向来完成。我们展示了该方法可以用于广泛的面部图像属性操纵，并介绍了 CelebTD-HQ 数据集作为 CelebA-HQ 的扩展，其中包含了人脸及相应的文本描述。

    May, 2020

  • 基于条件生成对抗网络的人脸老化

    本文提出了一种基于生成对抗网络 (GAN) 的自动面部老化方法，强调在改变面部属性的同时，保留原始人物身份。通过新颖的 GAN 潜在向量的 “身份保持” 优化方法，通过现有的面部识别和年龄估计解决方案，对所得到的老化和回复面部图像进行客观评价，证明了所提方法的高潜力。

    Feb, 2017

  • 对抗特征匹配的文本生成

    该研究提出了一种通过敌对训练生成逼真文本的框架，采用了 LSTM 作为生成器，卷积网络作为判别器，并使用核距离度量匹配真实和合成句子的高维潜在特征分布，从而缓解了模式崩溃问题，并在定量评估方面表现出优越性，证明了该模型可以生成逼真的句子。

    Jun, 2017

  • 基于序列条件的手写文本图像对抗生成

    该研究提出了一种基于生成对抗网络的系统，可以合成手写单词的合成图像，并在将其与现有训练数据集集成后通过改进通用 GAN 体系结构进行离线手写文本识别。

    Mar, 2019

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • 文本自适应生成对抗网络：用自然语言编辑图片

    本文提出一种文本适应的生成对抗网络 (TAGAN)，用以保留不相关的图片内容，并根据自然语言描述进行图像属性的语义修改。该网络通过创建词级本地判别器，按照输入的文本进行细粒度属性的独立分类，实现只修改特定区域的图像。经实验验证，该方法在 CUB 和 Oxford-102 数据集上比现有方法表现更好。

    Oct, 2018

  • GANFIT：基于生成对抗网络的高保真度 3D 人脸重建

    本文利用深度学习模型和生成对抗网络技术，在 UV 空间下重建面部纹理，并通过优化参数和预先训练的深度身份特征进行监督来实现高保真和身份保留的 3D 面部重建，同时在高频细节方面实现了面部纹理重建的最高成果

    Feb, 2019

  • GAN 生成的面孔检测：综述和新视角

    通过分析当前 GAN 人脸检测的研究方向和方法，本文对深度学习、物理学、生理学以及与人类视觉性能的评估和比较等方法进行了分类，总结出不同类别的关键思路并与其具体实现相联系，讨论了存在的问题并提出了未来研究方向。

    Feb, 2022

  • 基于条件生成对抗网络的语音驱动人脸再现

    利用递归神经网络和条件生成对抗网络，根据音频输入生成具有准确口型同步的逼真面部图像。

    Mar, 2018