Jun, 2022

循环文本转换为人脸生成对抗网络：基于 Transformers 的实现

PDF
TL;DR本文提出 Cycle Text2Face 这一新的编码器 - 解码器模型，通过使用句子转换器和 GAN 生成描述文本的图像，并在解码器部分复现脸部文本，从而获得了比以前基于 GAN 的模型更好的结果。在 CelebA 数据集上评估模型，获得了 FID 分数为 3.458 的高质量人脸图像。该模型处理速度快，能够在短时间内提供高质量的人脸图像。
发现论文，激发创造
  • 通过属性分解的文本生成人脸

    提出了一种名为 TTF-HD 的文本到面部图像生成模型，该模型不仅能够生成高分辨率（1024x1024）的具有文本到图像一致性的图像，还能输出多个不同的面孔，以自然的方式覆盖广泛面部特征。实验结果表明，TTF-HD 具有最先进的性能。

    Jun, 2020

  • 循环一致性反向生成对抗网络用于文本到图像合成

    本文提出了一种新颖的循环一致性逆向生成对抗网络 (CI-GAN) 框架，用于文本到图像生成和文本引导下的图像操作任务，在该框架中，我们采用循环一致性训练来学习更加稳健一致的潜变量，并通过学习文本表示与潜变量之间的相似度模型，在文本引导的优化模块中生成具有所需语义属性的图像，实验证明该框架具有良好的性能。

    Aug, 2021

  • 周期内总生成：循环生成对抗网络用于生成人脸、手、身体和自然场景

    提出了一种基于循环的生成对抗网络模型 (C2GAN)，通过交互式方式联合分析输入图像和引导数据，实现了人脸、手、身体和自然场景的图像生成，通过循环子网实现输入域的重构，同时生成另一个循环所需要的有用输出，实现了跨模态信息的相互补充，并具有更为鲁棒优化的功能。

    Jun, 2021

  • C4Synth：跨说明文循环一致的文本到图像合成

    该论文提出了一种基于深度生成模型的多个描述生成图片的方法，并通过对 CUB 和 Oxford-102 Flowers 数据集的实验结果证实了该方法的有效性。

    Sep, 2018

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • CogView2：采用分层 Transformer 技术的更快更好的文本到图像生成

    本文提出了基于分层 Transformer 和本地并行自回归生成的解决方案，使用一个简单灵活的自监督任务 CogLM 进行预训练，并将其用于快速超分辨率。新的文本到图像系统 CogView2 相对于最先进的 DALL-E-2 具有非常优异的生成能力，并自然支持图像文本引导编辑。

    Apr, 2022

  • AnyFace：自由风格的文本到人脸合成与操作

    本文提出了一种名为 AnyFace 的新型自由文本生成人脸图像的方法，它具有一种新颖的两流框架来进行人脸图像的合成和操作，利用 CLIP 编码器提取面部文本和图像特征并设计了可协同跨模态蒸馏模块，还开发了一种多样化三元组损失来改善人脸多样性。实验证明，AnyFace 可以实现高质量、高分辨率、高多样性的人脸合成和操作结果，而不受输入标题数量和内容的限制。

    Mar, 2022

  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • 循环训练实现低资源数据文本生成

    本文提出了一种基于无监督学习的方法 —— 循环训练，用于改善从结构化数据向自然语言文本的转化问题，在四个数据集中，这种方法表现得像完全监督方法一样出色，通过自动评价和人工评估表明，循环训练策略的不同对于降低文本生成错误类型的有效性也不同。

    May, 2023