Jun, 2020

通过属性分解的文本生成人脸

PDF
TL;DR提出了一种名为 TTF-HD 的文本到面部图像生成模型，该模型不仅能够生成高分辨率（1024x1024）的具有文本到图像一致性的图像，还能输出多个不同的面孔，以自然的方式覆盖广泛面部特征。实验结果表明，TTF-HD 具有最先进的性能。
text-to-facecomputer visionmulti-label classifierimage encoderhigh-resolution image generator
发现论文，激发创造
  • 面部说话：从文本中联合合成说话脸部和语音

    利用文本生成自然的说话面部表情和语音输出，通过将 Talking Face Generation (TFG) 和 Text-to-Speech (TTS) 系统整合到一个统一框架中，在解决头部姿态生成和声音一致性等挑战的同时，实现了高质量的运动代码生成和均匀语音输出。

    May, 2024

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • FT2TF: 面向人的陈述文本至说话人脸生成

    提出了 FT2TF - 第一人称陈述文本到说话人脸生成的新的一阶段端到端流水线，通过改变相应的输入文本实现对面部表情的准确操作，证明在多维度评估指标上优于现有相关方法并达到最先进水平。

    Dec, 2023

  • 循环文本转换为人脸生成对抗网络：基于 Transformers 的实现

    本文提出 Cycle Text2Face 这一新的编码器 - 解码器模型，通过使用句子转换器和 GAN 生成描述文本的图像，并在解码器部分复现脸部文本，从而获得了比以前基于 GAN 的模型更好的结果。在 CelebA 数据集上评估模型，获得了 FID 分数为 3.458 的高质量人脸图像。该模型处理速度快，能够在短时间内提供高质量的人脸图像。

    Jun, 2022

  • 基于文本指导的三维人脸合成 -- 从生成到编辑

    通过文本引导的三维人脸合成，从生成到编辑的统一框架，通过解耦生成几何和纹理来提高几何细节的生成效果，并利用生成几何作为纹理生成的条件，进一步提升几何与纹理的一致性结果；通过预训练扩散模型来更新面部几何或纹理以实现顺序编辑，并引入 UV 域一致性保持正则化以防止对不相关面部属性的无意更改，并提出自导向一致性权重策略以提高编辑效果与保持一致性；通过全面实验展示了该方法在人脸合成方面的优越性。

    Dec, 2023

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 面向风格的语音：面至声自然零样本语音合成中面部图像的改进潜在映射

    通过面部图像生成声音对于开发能够使用其独特声音进行互动的虚拟人类非常重要，本文介绍了一种基于面部图像而非参考语音生成自然语音的零样本文本到语音合成模型（Face-StyleSpeech），通过结合面部编码器和韵律编码器从面部图像中分别捕捉说话者身份和韵律特征来应对这一挑战，并通过实验结果证明该模型在生成面部图像对应的自然语音方面胜过基准模型，甚至对未训练过的面部图像也有效。

    Sep, 2023

  • RenAIssance: 大型模型时代的 AI 文字到图像生成调查

    文本到图像生成使用神经网络和扩展模型规模的创新模型架构与预测增强技术相结合的方法，提供了几种不同的方法并对其进行了详细比较和评价，为未来的工作提供了改进的可能路径。

    Sep, 2023

  • 使用有条件训练的输入生成对抗网络从文本特征生成人脸

    本文介绍了一种利用生成式对抗网络和自然语言处理模型生成人脸的新方法，将面部描述转换为可学习的潜在向量，从而生成与这些特征相对应的面部。

    Jan, 2023

  • AnyFace：自由风格的文本到人脸合成与操作

    本文提出了一种名为 AnyFace 的新型自由文本生成人脸图像的方法，它具有一种新颖的两流框架来进行人脸图像的合成和操作，利用 CLIP 编码器提取面部文本和图像特征并设计了可协同跨模态蒸馏模块，还开发了一种多样化三元组损失来改善人脸多样性。实验证明，AnyFace 可以实现高质量、高分辨率、高多样性的人脸合成和操作结果，而不受输入标题数量和内容的限制。

    Mar, 2022