CVPRMar, 2023

从抽象草图生成照片般逼真的图像

PDF
TL;DR文章提出了一种通过 decoder 使用 StyleGAN 训练生成更加真实的照片，并且通过 autoregressive sketch mapper 和 fine-grained discriminative loss 处理手绘人类草图，实现草图到照片的转化；实验结果展示了其可行性和有效性，同时通过草图检索出生成的照片实现了在草图界的突破。
sketch-to-photo pipelinestyleganautoregressive sketch mapperfine-grained discriminative losssketch-based image retrieval
发现论文，激发创造
  • 无监督草图到照片的合成

    本文首次研究了无监督的手绘草图到照片的合成，提出了一种两阶段翻译任务的方法，添加自监督去噪目标和注意力模块以处理抽象和风格差异，生成的图片忠实于草图且逼真的，并可实现基于草图的图像检索和捕捉人类视觉感知。

    Sep, 2019

  • SketchyGAN：多样化逼真的草图到图像合成

    本研究提出了一种新的生成对抗网络 (GAN) 方法，利用数据增强及信息流构建模块等技术，在摩托车、马和沙发等 50 类别的草图上合成逼真的图像，并在 Inception 分数上取得显著的改进。

    Jan, 2018

  • Sketch-to-Art: 从草图中合成风格化的艺术图像

    该论文提出了一个基于 GAN 框架的新方法，用于从简笔画和风格参考图像中合成带有颜色和纹理的详细艺术风格图像；该方法采用了双重遮罩机制、特征映射转换技术以及反实例标准化过程等模块，以增强风格一致性和内容约束，并取得了显著的合成性能提升。

    Feb, 2020

  • 如何在基于草图的图像检索中处理草图抽象化？

    我们提出了一种新颖的抽象感知的基于草图的图像检索框架，能够处理不同级别的草图抽象。通过学习抽象感知特征和粒度级别的抽象理解，我们的方法在标准的草图 - 图像检索任务以及早期检索、法医草图 - 照片匹配和风格不变检索等具有挑战性的场景中表现出色。

    Mar, 2024

  • 基于有限数据的生成先验进行风格化面部素描提取

    通过预训练的 StyleGAN 模型以及基于部分损失的两阶段学习技术，提出了 StyleSketch 方法，通过 16 对面部图像和相应的素描图像，训练了一个能够提取高分辨率风格化素描的生成器，并通过比较表明 StyleSketch 在提取高分辨率抽象人脸素描方面优于现有的最先进的素描提取方法和少量样本图像适应方法，同时还探索了其在其他领域的可用性和语义编辑的可能性。

    Mar, 2024

  • 全卷积表示学习的端到端照片素描生成

    本研究提出了一种基于卷积网络的方法，实现将人脸照片转化为面部素描，并添加判别性正则化项提高生成的人物素描的可辨识度，该方法在多项基准测试中表现优于其他当前最先进方法。

    Jan, 2015

  • 深度分解反素描技术

    本文针对人类无限制手绘素描建模，尝试将图标式手绘转化为更几何实际的物体轮廓，并分离显著的特征细节，以实现更好的对象匹配，最终提出了一种基于无监督图像风格转移模型的深度 FG-SBIR 模型，通过定量和定性评估，证明了其在风格转移和 FG-SBIR 方面优于现有方法。

    Aug, 2018

  • 无监督场景素描到照片的合成

    本文提出了一种新的基于素描图的自然照片综合方法，采用无监督学习，结合标准化模块提取参考照片、在训练中提供假素描照片对，以及两种主要成分：全局场景结构和低级视觉风格的组合。实验结果表明，该方法可以生成具有高保真度的真实感照片，并且在相应场景素描的编辑方面具有更高的细节度，优于其他基于照片综合的方法。

    Sep, 2022

  • 自监督的草图到图像合成

    通过自监督学习，提出了一个基于示例的草图到图像的生成模型，其中包括了使用无需配对的数据生成草图的方法，以及使用自编码器和对抗网络分别实现内容一致性和风格一致性，并在高分辨率图像生成上取得了最新的表现。

    Dec, 2020

  • 使用条件生成对抗网络从线稿生成卡通图像的自动绘画程序

    本文提出了一种新的自动绘画模型，用于解决黑白素描自动上色问题，实验结果表明自动绘画模型的性能优于现有的图像合成方法。

    May, 2017