Mar, 2022

AnyFace：自由风格的文本到人脸合成与操作

PDF
TL;DR本文提出了一种名为 AnyFace 的新型自由文本生成人脸图像的方法，它具有一种新颖的两流框架来进行人脸图像的合成和操作，利用 CLIP 编码器提取面部文本和图像特征并设计了可协同跨模态蒸馏模块，还开发了一种多样化三元组损失来改善人脸多样性。实验证明，AnyFace 可以实现高质量、高分辨率、高多样性的人脸合成和操作结果，而不受输入标题数量和内容的限制。
发现论文，激发创造
  • 面部图像生成和操作的开放式文本引导实现

    该研究提出了一种统一框架来生成和处理面部图像，基于预训练的 GAN 模型，使用两种新颖的策略，直接优化潜在空间的潜在编码以获取多模式输入的图像生成和操纵，并提出了一个大型数据集 Multi-Modal CelebA-HQ。

    Apr, 2021

  • AnyText: 多语言视觉文本生成与编辑

    基于扩散模型的多语言视觉文本生成的 AnyText 模型，利用 OCR 模型和扩散管道生成准确和连贯的文本，通过文本控制扩散损失和文本感知损失进行训练来进一步增强书写准确性，并在评估实验证明我们的方法在视觉文本生成方面表现优异。

    Nov, 2023

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023

  • 自由风格和快速的 3D 肖像合成

    提出了一种利用文本提示来指定风格的快速 3D 肖像合成框架，该方法借助生成先验来构建少量样本，采用目标样式替换预训练 3D 生成器的三层平面生成器，从而实现了高质量和一致性风格合成。

    Jun, 2023

  • 面向风格的语音：面至声自然零样本语音合成中面部图像的改进潜在映射

    通过面部图像生成声音对于开发能够使用其独特声音进行互动的虚拟人类非常重要，本文介绍了一种基于面部图像而非参考语音生成自然语音的零样本文本到语音合成模型（Face-StyleSpeech），通过结合面部编码器和韵律编码器从面部图像中分别捕捉说话者身份和韵律特征来应对这一挑战，并通过实验结果证明该模型在生成面部图像对应的自然语音方面胜过基准模型，甚至对未训练过的面部图像也有效。

    Sep, 2023

  • 面部说话：从文本中联合合成说话脸部和语音

    利用文本生成自然的说话面部表情和语音输出，通过将 Talking Face Generation (TFG) 和 Text-to-Speech (TTS) 系统整合到一个统一框架中，在解决头部姿态生成和声音一致性等挑战的同时，实现了高质量的运动代码生成和均匀语音输出。

    May, 2024

  • FaceStudio：在几秒钟内将您的脸放到任何地方

    本研究通过引入直接前馈机制和混合引导框架，以人物图像为重点，实现了保留主体身份的图像合成，旨在快速高效生成艺术肖像和身份融合图像，并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。

    Dec, 2023

  • 通过属性分解的文本生成人脸

    提出了一种名为 TTF-HD 的文本到面部图像生成模型，该模型不仅能够生成高分辨率（1024x1024）的具有文本到图像一致性的图像，还能输出多个不同的面孔，以自然的方式覆盖广泛面部特征。实验结果表明，TTF-HD 具有最先进的性能。

    Jun, 2020

  • 3D 引导细粒度人脸操作

    提供了一种细致的人脸操作方法，利用三维人脸模型和分离出质地和形状的方法进行纹理和形状不同表情的构建，进而通过生成网络和全连接网络实现表情的合成和准确形状的预测，获得了优越的结果，并被 85% 的用户优先选择，并且在 53% 的情况下，注释员无法可靠地区分合成的图像和真实图像的差别。

    Feb, 2019

  • VariTex: 变分神经面部纹理

    该研究提出了 VariTex 方法，利用神经人脸纹理学习了变分潜在特征空间，使得其能够控制面部外部区域，并以此实现对外貌、头部姿态和面部表情的精细控制，从而能够合成具有几何一致性的人脸图片。

    Apr, 2021