Oct, 2017

使用多对抗网络实现高质量人脸照片 - 素描合成

PDF
TL;DR本文使用生成模型和对抗网络探索了将草图合成为图像和将图像转换为草图的问题，并提出了一种新的多对抗网络框架，称为 Photo-Sketch Synthesis using Multi-Adversarial Networks (PS2-MAN)。通过采用 CycleGAN 框架，利用配对信息解决了耦合 / 配对翻译问题。实验结果表明，该框架在图像质量评估和图像匹配方面的性能优于现有的最先进解决方案。
发现论文，激发创造
  • 通过组合辅助 GAN 实现逼真的人脸照片素描合成

    本文提出一个基于面部构图信息的 Composition-aided Generative Adversarial Network (CA-GAN) 来生成面部素描 / 照片。通过使用成对的输入包括面部照片 / 素描和相应的面部标签来进行合成，最终使用堆叠的 CA-GANs (SCA-GAN) 去修正缺陷并增加有吸引力的细节，实验结果表明，我们的方法能够在广泛的具有挑战性的数据范围内生成视觉舒适、保持特征的面部素描 / 照片，并且取得了最佳的生成效果。

    Dec, 2017

  • SketchyGAN：多样化逼真的草图到图像合成

    本研究提出了一种新的生成对抗网络 (GAN) 方法，利用数据增强及信息流构建模块等技术，在摩托车、马和沙发等 50 类别的草图上合成逼真的图像，并在 Inception 分数上取得显著的改进。

    Jan, 2018

  • 无监督草图到照片的合成

    本文首次研究了无监督的手绘草图到照片的合成，提出了一种两阶段翻译任务的方法，添加自监督去噪目标和注意力模块以处理抽象和风格差异，生成的图片忠实于草图且逼真的，并可实现基于草图的图像检索和捕捉人类视觉感知。

    Sep, 2019

  • 人脸图像合成的最新进展

    本文系统介绍了传统方法和深度学习方法，尤其是生成对抗网络（GAN）在面部合成方面的应用及其对身份保护的重要性，并讨论未解决的困难和未来研究方向。

    Jun, 2017

  • 针对草图到照片合成的对抗式开放域自适应

    本文探讨了开放领域的手绘草图转照片生成，提出了一种同时学习手绘草图 - 照片和照片 - 手绘草图生成的框架，以解决由于缺乏训练监督和草图与照片领域之间的巨大几何扭曲造成的挑战。通过开放领域采样和优化策略，该方法使得生成器能够将合成的草图视为真实草图，从而在各种开放领域草图的颜色、纹理和几何构成等方面取得了令人印象深刻的结果。

    Apr, 2021

  • 野外人脸素描合成的半监督学习

    本文提出了一种半监督深度学习架构，扩展了面部素描合成以处理现实中的面部照片，该方法使用小的参考照片集中的照片与输入照片进行补丁匹配，并使用相应的素描特征补丁组成伪素描特征表示来监督网络。通过该方法，我们可以使用参考照片集和大型面部照片数据集对网络进行训练，并取得公共基准测试和野外面部照片方面最先进的表现。

    Dec, 2018

  • 全卷积表示学习的端到端照片素描生成

    本研究提出了一种基于卷积网络的方法，实现将人脸照片转化为面部素描，并添加判别性正则化项提高生成的人物素描的可辨识度，该方法在多项基准测试中表现优于其他当前最先进方法。

    Jan, 2015

  • 用于人脸照片 - 素描合成和识别的身份感知 CycleGAN

    本研究提出了一种基于 IACycleGAN 模型的人脸照片 - 草图合成算法，采用感知损失监督图像生成网络以改进 CycleGAN，在关键的面部区域（如眼睛和鼻子）的合成过程中更加注重识别，同时还使用合成样本和真实样本的三元组损失增强了识别模型，在 CUFS 和 CUFSF 数据库上的实验结果表明，所提出的方法在合成图像质量和草图 - 照片识别精度方面均优于多个现有的先进方法。

    Mar, 2021

  • 无监督场景素描到照片的合成

    本文提出了一种新的基于素描图的自然照片综合方法，采用无监督学习，结合标准化模块提取参考照片、在训练中提供假素描照片对，以及两种主要成分：全局场景结构和低级视觉风格的组合。实验结果表明，该方法可以生成具有高保真度的真实感照片，并且在相应场景素描的编辑方面具有更高的细节度，优于其他基于照片综合的方法。

    Sep, 2022

  • 任意姿态下无监督人物图像合成

    本文提出了一种使用生成式对抗学习的新方法，用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题，并且将其分解成两个主要子任务，一是姿势条件的双向生成器，二是定义一个新型的损失函数，包含内容和风格项，旨在生成高感知质量的图像，可以在 DeepFashion 数据集上进行广泛的实验验证。

    Sep, 2018