Aug, 2024

基于遮罩生成建模的多风格人脸素描合成

HTML
PDF
TL;DR本文针对人脸素描合成（FSS）中高质量素描生成的挑战，提出了一种轻量级的端到端合成模型，能够有效地将图像转换为多风格素描，解决了数据稀缺和风格种类受限的问题。研究表明，该方法通过半监督学习与特征提取模块的结合，显著提升了素描的质量和风格变换能力，从而在多个基准测试中优于现有算法。
发现论文，激发创造
  • 全卷积表示学习的端到端照片素描生成

    本研究提出了一种基于卷积网络的方法，实现将人脸照片转化为面部素描，并添加判别性正则化项提高生成的人物素描的可辨识度，该方法在多项基准测试中表现优于其他当前最先进方法。

    Jan, 2015

  • 通过分解表征学习实现内容自适应的草图人像生成

    本文提出了一种基于分层结构和纹理分解的生成框架，使用BFCN学习结构和纹理表征，并使用SM-MSE指标来测量纹理图案。实验表明，相对于基于样例合成的方法，本方法在视觉和客观指标上都表现更好，并且具有更好的跨数据集的泛化能力。

    Oct, 2017

  • 野外人脸素描合成的半监督学习

    本文提出了一种半监督深度学习架构，扩展了面部素描合成以处理现实中的面部照片，该方法使用小的参考照片集中的照片与输入照片进行补丁匹配，并使用相应的素描特征补丁组成伪素描特征表示来监督网络。通过该方法，我们可以使用参考照片集和大型面部照片数据集对网络进行训练，并取得公共基准测试和野外面部照片方面最先进的表现。

    Dec, 2018

  • Sketch-to-Art: 从草图中合成风格化的艺术图像

    该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

    Feb, 2020

  • DiffFaceSketch: 利用素描引导潜在扩散模型合成高保真人脸图像

    该论文介绍了Sketch-Guided潜在扩散模型（SGLDM），它是一种基于LDM的网络架构，在配对的素描-面部数据集上进行训练，可以合成出不同表情，面部配饰和发型的高质量人脸图片。 SGLDM 通过使用Multi-Auto-Encoder和Stochastic Region Abstraction，能够有效地处理抽象度不同的草图输入，与现有的方法相比提高了鲁棒性。

    Feb, 2023

  • 具有生成先验的多模态人脸风格化

    本文提出了一种支持多模式脸部艺术风格化的框架，利用StyleGAN的优势，并将其集成到编码器-解码器架构中进行高质量的面部生成，输出结果显示该框架在一次和零次风格化任务中均能实现比现有方法更出色的面部风格化性能。

    May, 2023

  • 使用扩散模型进行草图控制图像合成

    使用扩散模型进行创意素描到图像的综合，表现为更自由、更精确，不依赖大规模的素描-图像数据集，同时也具有图像编辑和插值的应用。

    May, 2023

  • 基于人类灵感的人脸草图合成与动态调整

    基于人类灵感的动态调整方法（HIDA）：通过联合考虑面部3D几何和2D外貌，以及全局一致的样式控制，基于变形卷积生成抽象和独特的轮廓，实现面部素描的高质量生成，并在多种风格中显著优于先前方法。

    Sep, 2023

  • 基于有限数据的生成先验进行风格化面部素描提取

    通过预训练的 StyleGAN 模型以及基于部分损失的两阶段学习技术，提出了StyleSketch方法，通过16对面部图像和相应的素描图像，训练了一个能够提取高分辨率风格化素描的生成器，并通过比较表明 StyleSketch 在提取高分辨率抽象人脸素描方面优于现有的最先进的素描提取方法和少量样本图像适应方法，同时还探索了其在其他领域的可用性和语义编辑的可能性。

    Mar, 2024

  • PS风格生成对抗网络：基于注意力的插图肖像速写

    本研究解决了肖像速写生成中对身份特征细节选择性关注的难题。提出的新方法PS-StyleGAN利用StyleGAN的语义$W+$潜空间，实现肖像速写合成，支持在不损害身份的前提下进行姿势和表情修改。研究表明，该方法优于现有技术，训练时间短且只需少量配对例子。

    Aug, 2024