Sep, 2022

无监督场景素描到照片的合成

PDF
TL;DR本文提出了一种新的基于素描图的自然照片综合方法，采用无监督学习，结合标准化模块提取参考照片、在训练中提供假素描照片对，以及两种主要成分：全局场景结构和低级视觉风格的组合。实验结果表明，该方法可以生成具有高保真度的真实感照片，并且在相应场景素描的编辑方面具有更高的细节度，优于其他基于照片综合的方法。
sketchesphoto synthesisunsupervised learningpseudo sketch-photo pairsphoto-realistic image
发现论文，激发创造
  • 无监督草图到照片的合成

    本文首次研究了无监督的手绘草图到照片的合成，提出了一种两阶段翻译任务的方法，添加自监督去噪目标和注意力模块以处理抽象和风格差异，生成的图片忠实于草图且逼真的，并可实现基于草图的图像检索和捕捉人类视觉感知。

    Sep, 2019

  • 针对草图到照片合成的对抗式开放域自适应

    本文探讨了开放领域的手绘草图转照片生成，提出了一种同时学习手绘草图 - 照片和照片 - 手绘草图生成的框架，以解决由于缺乏训练监督和草图与照片领域之间的巨大几何扭曲造成的挑战。通过开放领域采样和优化策略，该方法使得生成器能够将合成的草图视为真实草图，从而在各种开放领域草图的颜色、纹理和几何构成等方面取得了令人印象深刻的结果。

    Apr, 2021

  • 野外人脸素描合成的半监督学习

    本文提出了一种半监督深度学习架构，扩展了面部素描合成以处理现实中的面部照片，该方法使用小的参考照片集中的照片与输入照片进行补丁匹配，并使用相应的素描特征补丁组成伪素描特征表示来监督网络。通过该方法，我们可以使用参考照片集和大型面部照片数据集对网络进行训练，并取得公共基准测试和野外面部照片方面最先进的表现。

    Dec, 2018

  • 自监督的草图到图像合成

    通过自监督学习，提出了一个基于示例的草图到图像的生成模型，其中包括了使用无需配对的数据生成草图的方法，以及使用自编码器和对抗网络分别实现内容一致性和风格一致性，并在高分辨率图像生成上取得了最新的表现。

    Dec, 2020

  • Sketch-to-Art: 从草图中合成风格化的艺术图像

    该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

    Feb, 2020

  • 利用简化循环一致性学习素描

    本文提出了一种将对象照片转换为草图的新方法，使用无监督学习和多任务学习框架，利用自我监督实现编码器瓶颈处的捷径一致性来改进现有的草图生成模型，并证明这种方法可以有效地解决草图数据稀缺的问题。

    May, 2018

  • 通过组合辅助 GAN 实现逼真的人脸照片素描合成

    本文提出一个基于面部构图信息的 Composition-aided Generative Adversarial Network (CA-GAN) 来生成面部素描 / 照片。通过使用成对的输入包括面部照片 / 素描和相应的面部标签来进行合成，最终使用堆叠的 CA-GANs (SCA-GAN) 去修正缺陷并增加有吸引力的细节，实验结果表明，我们的方法能够在广泛的具有挑战性的数据范围内生成视觉舒适、保持特征的面部素描 / 照片，并且取得了最佳的生成效果。

    Dec, 2017

  • 使用多对抗网络实现高质量人脸照片 - 素描合成

    本文使用生成模型和对抗网络探索了将草图合成为图像和将图像转换为草图的问题，并提出了一种新的多对抗网络框架，称为 Photo-Sketch Synthesis using Multi-Adversarial Networks (PS2-MAN)。通过采用 CycleGAN 框架，利用配对信息解决了耦合 / 配对翻译问题。实验结果表明，该框架在图像质量评估和图像匹配方面的性能优于现有的最先进解决方案。

    Oct, 2017

  • 任意姿态下无监督人物图像合成

    本文提出了一种使用生成式对抗学习的新方法，用于综合产生任意姿势的具有照片级真实感的人物图像。研究通过无监督的方式来处理此问题，并且将其分解成两个主要子任务，一是姿势条件的双向生成器，二是定义一个新型的损失函数，包含内容和风格项，旨在生成高感知质量的图像，可以在 DeepFashion 数据集上进行广泛的实验验证。

    Sep, 2018

  • 照片与草图之间的密集对应关系学习

    本研究介绍了一种新的素描 - 照片对应基准，PSC6k，其中包含 125 个物体类别上 6250 个素描 - 照片对的 150K 注释，并提出了一种自监督方法，用于学习素描 - 照片对之间的密集对应关系，该方法在精细度和量化上优于其他基线模型，为开发实现更接近人类的不同抽象层次上的视觉图像理解的人工系统提供了有希望的道路。

    Jul, 2023